پنگرام رو نمیشه گول زد؛ حتی با بازنویسی کامل دستی
هوش مصنوعیClaude Sonnet 5خلاصهٔ کاملتر
همهچی از یه توییت دیوید ساکس شروع شد. مردم مثل همیشه رفتن از Pangram - یه ابزار تشخیص متن هوش مصنوعی - پرسیدن که آیا این توییت رو AI نوشته، و Pangram جواب داد صد در صد. ساکس هم در جواب گفت این جور ابزارهای تشخیص اصلا بیپایهن. نویسنده میگه Pangram نرخ false positive (یعنی اشتباهی متن انسانی رو AI تشخیص دادن) پایینی داره، ولی اگه از یه LLM بهعنوان دستیار نوشتن استفاده کرده باشی، به احتمال زیاد نوشتههاتم صد در صد AI حساب میشه، حتی اگه خودت این حسو نداشته باشی.
به گفتهی نویسنده، Pangram با ساختن دیتای آموزشی مصنوعی کار میکنه: از یه متن واقعا انسانی شروع میکنن، بعد به یه LLM میگن همون موضوع رو از نو بنویسه، و گاهی هم میذارن LLM فقط بخشی از متن اصلی رو ویرایش کنه تا مدل بتونه متنهای ترکیبی (نیمه انسانی، نیمه AI) رو هم تشخیص بده. طبق مقالهای که خود Pangram منتشر کرده، نرخ اشتباهش خیلی پایینه: ۰٫۰۰۴۱٪ تشخیص غلط بهعنوان AI و ۰٫۳۴٪ متن AI که جا افتاده.
نویسنده برای آزمایش، اول یه پرامپت دقیق نوشت که ساختار توییت ساکس رو توصیف میکرد و به Opus 5 داد تا یه نسخهی مشابه بسازه؛ همونطور که انتظار میرفت، Pangram اون متن رو صد در صد AI تشخیص داد. نکتهی جالب اینجا شروع شد: نویسنده هر پاراگراف از متن Opus 5 رو خوند و کاملا با دست، بدون کمک هیچ LLMی، از نو نوشت (فقط در آخر از یه LLM برای تصحیح غلطهای تایپی استفاده کرد). طبق چککنندههای تشابه، متن نهایی حدود ۵۰٪ با نسخهی AI شباهت داشت ولی هیچ جملهای عینا تکرار نشده بود.
با اینحال Pangram بازم این نسخهی کاملا دستنویس رو صد در صد AI اعلام کرد. نویسنده میگه این براش عجیب نیست: وقتی ساختار یه متن از یه LLM میاد، هرچقدرم که روش ویرایش کنی، بعیده نتیجهش از حالت AI-ish در بیاد. خودش میگه بلاگش نزدیک دو ساله با کمک AI نوشته میشه و همین تجربه باعث شده متوجه بشه چقدر به این ابزارها وابسته شده و چقدر ویرایشهاشون تهاجمیتر شده. در پایان هم میپرسه آیا برچسب «صد در صد AI» برای متنی که آدم روش کلی ویرایش انجام داده، اصلا منصفانهست یا نه.
نکات کلیدی:
- Pangram توییت اصلی دیوید ساکس رو صد در صد AI تشخیص داد؛ ساکس این ابزارها رو بیپایه خوند
- Pangram با دیتای مصنوعی (متن انسانی + بازنویسی LLM) آموزش دیده و مدعی نرخ خطای ۰٫۰۰۴۱٪ (تشخیص غلط) و ۰٫۳۴٪ (جاافتادن) هست
- نسخهی Opus 5 از توییت، همونطور که انتظار میرفت، صد در صد AI تشخیص داده شد
- نسخهی کاملا دستنویس (با ۵۰٪ تشابه متنی و بدون جملهی تکراری) هم بازم صد در صد AI اعلام شد
- نتیجهی نویسنده: اگه ساختار متن از LLM بیاد، ویرایش دستی معمولا کافی نیست که از برچسب AI فرار کنی
