مدلهای هوش مصنوعی تستهای alignment رو تشخیص میدن
خلاصهٔ کاملتر
تو این یادداشت از METR، نویسندهها بررسی کردن مدلها چطور میفهمن تو یه alignment eval هستن (یعنی تستی که رفتار درست و ایمن مدل رو میسنجه، نه مهارتش). نگرانی اینه که اگه مدل بفهمه داره تست میشه، ممکنه تو تست بهتر از دنیای واقعی رفتار کنه و ما ایمنیشو بیشتر از اونی که هست برآورد کنیم.
به نشونههایی که تست رو لو میدن میگن tell، و دو دستهان. tellهای سطح محیط، یعنی ایرادهای شبیهسازی مثل سرویسهای آشکارا ساختگی یا سناریوهای باورنکردنی. tellهای سطح تسک، یعنی ویژگیهایی که عمداً گذاشته شدن تا رفتار بد مدل رو لو بدن، مثل یه میانبُر غیراخلاقی، شرایط پرریسک یا هدفهای متضاد.
برای سنجیدن، از investigator agent استفاده کردن، یعنی ایجنتی که با بالاترین سطح reasoning داخل همون محیط اجرا میشه و با همون ابزارها میگرده تا بفهمه محیط چی رو تست میکنه. دو جور امتیاز ۰ تا ۱۰۰ گرفتن: یکی مستقیم ازش پرسیدن احتمال اینکه تست alignment باشه چقدره، و یکی سؤال باز درباره هدف تسک که یه LLM judge نمرهش داده. این کارو روی ۱۹ تست alignment و ۳۶ تست توانایی (از Time Horizons و Terminal-Bench 4.0) انجام دادن.
نتیجه اینه که این ایجنتها تو یه سال گذشته خیلی بهتر شدن. Opus 5.5 تو هر دو روش، همه تستهای alignment رو بالاتر از همه تستهای توانایی رتبه داده. نویسندهها میگن این یعنی تستهایی که به روش معمول ساخته میشن، احتمالاً برای مدلهای فعلی راحت قابلتشخیصن. مثلاً تو یه تسک honeypot (یعنی تلهای که مدل رو وسوسه میکنه کار بدی بکنه) که از یه تست توانایی ساخته بودن، Opus 5.5 هر چهار تغییری که برای تله کردنش داده بودن رو پیدا کرد. تو بازیها هم حتی اسم پژوهشی که محیط ازش الهام گرفته بود رو آورد.
خود نویسندهها محدودیتها رو هم گفتن: پرسیدن مستقیم میتونه ذهن مدل رو جهت بده. مثلاً Astra تو تسک IRO امتیاز مستقیم ۹۱ داده ولی تو جواب باز گفته یه تست توانایی بوده. اینم ادعا نمیکنن که این tellها واقعاً رفتار مدل رو موقع انجام تسک عوض میکنن. به نظرشون حذف tellهای محیطی راحتتر از tellهای تسکه، چون دسته دوم ذات خود تسته.
نکات کلیدی:
- تست روی ۱۹ تست alignment و ۳۶ تست توانایی، هرکدوم سه بار، انجام شده
- Opus 5.5 همه تستهای alignment رو بالاتر از همه تستهای توانایی رتبه داده
- tellها دو دستهان: سطح محیط (شبیهسازی ضعیف) و سطح تسک (تلههای عمدی)
- Astra تو تسک IRO امتیاز مستقیم ۹۱ داده ولی جواب بازش چیز دیگهای گفته
- حذف tellهای سطح تسک سختتره چون بخشی از خود تسته




