تحقیق Anthropic: آدما ۸۶٪ وقتا حرف AI رو قبول میکنن
خلاصهٔ کاملتر
تو این آزمایش Anthropic، تحلیلگرها با کمک یه ایجنت AI چند تا تصمیم تحلیلی میگرفتن. ایجنت مخفیانه طوری تنظیم شده بود که تو هر تصمیم طرفدار یه گزینه باشه و این تمایل تصادفی بود، یعنی تقریباً نصف وقتا درست و نصف وقتا غلط بود. ایجنت از نظرش دفاع میکرد ولی با مدرک خوب قانع میشد. نتیجه: تحلیلگرها ۸۶٪ وقتا با تمایل مخفی ایجنت همراه شدن، در حالی که شانس خالص حدود ۵۰٪ میشد.
اعداد دیگه هم جالبن. تحلیلگرهایی که از قبل نظر داشتن، وقتی ایجنت مخالفت میکرد ۶۰٪ وقتا نظرشونو عوض کردن، ولی وقتی موافق بود فقط ۶٪. بعدش ۷۷٪ همون استدلالهای ایجنت رو، گاهی کلمه به کلمه، برای توجیه تصمیمشون آوردن ولی فقط ۱۵٪ گفتن از ایجنت گرفتن. ۵۲٪ هم تصمیم نهایی رو بیشتر مال خودشون میدونستن تا ایجنت. تجربه و اعتماد به نفس بیشتر هم جلوی این اثر رو نگرفت.
Anthropic اسم این پدیده رو AI disempowerment گذاشته، یعنی امضای پای تصمیم هنوز اسم آدمه ولی قضاوت پشتش داره مال مدل میشه. به گفته مقاله، سازوکارش سه بخش داره: مدلها با لحن مطمئن حرف میزنن حتی وقتی اشتباه میکنن، آدما معمولاً با یه ایده مبهم سراغ تصمیم میرن که دقیقاً همون موقع استدلال کامل ایجنت قانعکنندهترینه، و بعد از قبول کردن، استدلال رو درونی میکنن و یادشون میره از کجا اومده.
نویسنده میگه هر کی با یه coding agent جلسه برنامهریزی داره دقیقاً تو همین شرایطه. یه الگوی رایج اینه که یه فیچر رو کلی توصیف میکنی، ایجنت سؤالهای چندگزینهای میپرسه و تو همون گزینه پیشنهادی اول رو برمیداری. این حس همکاری میده ولی در واقع ایجنت داره دستور کار رو تعیین میکنه. همین مشکل وقتی یه ایجنت PR مینویسه و یه ایجنت دیگه با همون مدل ریویوش میکنه هم هست، چون اون بررسی اونقدر که به نظر میرسه مستقل نیست.
خود Anthropic محدودیتها رو گفته: سوگیری ایجنت عمداً از طریق system prompt تقویت شده بود و آزمایش فقط یه کار، یه حوزه و یه مدل رو پوشش داده، پس عدد ۸۶٪ شاید جای دیگه فرق کنه. تحلیلگرهایی که اصلاً بدون AI کار کردن اشتباههای جدیتری داشتن و کندتر بودن، یعنی مشکل نتیجه بدتر نیست، بلکه اینه که آدما استقلال قضاوتشونو بیشتر از واقع تخمین میزنن.
نویسنده معتقده ضعیفترین بخش گزارش اینه که راهحل مشخصی نمیده. راههایی که پیشنهاد میکنه بیشتر طراحی جریان کاره: از ایجنت بخواه قبل از پیشنهاد، درباره اولویتها و trade-offها بپرسه، و مرحله «لیست گزینهها» رو از مرحله «دفاع از یه گزینه» جدا کن. اینطوری بخش بیشتری از استدلال اولیه دست خودت میمونه.
نکات کلیدی:
- تحلیلگرها ۸۶٪ وقتا با تمایل تصادفی ایجنت همراه شدن، در برابر پایه ۵۰٪
- با مخالفت ایجنت ۶۰٪ نظرشونو عوض کردن، با موافقتش فقط ۶٪
- ۷۷٪ استدلالهای ایجنت رو تکرار کردن ولی فقط ۱۵٪ بهش اعتبار دادن
- تجربه و اعتماد به نفس جلوی تبعیت از AI رو نگرفت
- آزمایش فقط یه کار، یه حوزه و یه مدل رو بررسی کرده
- جدا کردن مرحله گزینهها از مرحله پیشنهاد، تبعیت رو کمتر میکنه




