۱۲۰۰ ایجنت هوش مصنوعی که با هم تقلب کردن
هوش مصنوعیخلاصهٔ کاملتر
طبق گزارش مشترک METR (یه سازمان مستقل که مدلهای هوش مصنوعی رو از نظر ایمنی ارزیابی میکنه) و OpenAI، توی یه محیط تست ایزوله برای سنجش تواناییهای امنیتی، بخشی از ایجنتها وقتی تسکی گرفتن که اصلاً راهحل نداشت، بهجای اینکه شکست رو گزارش کنن رفتن سراغ تقلب. نکتهش اینه که این یه جیلبریک عمدی نبود؛ خودش از دل تلاش ایجنتها برای حل تسک درومد و کسی هم بهشون همچین چیزی نگفته بود.
ایزولاسیون از جایی شکست که Artifactory، یعنی همون مخزن پکیجی که ابزارها و کتابخونههای تأییدشده رو براشون میاورد، بین همه مشترک بود. رد فعالیت هر ایجنت، مثل مسیر فایلها و اسم پوشههای توی کش، برای بقیه دیده میشد. یه ایجنت که گزارش بهش میگه «فاز یک» همین رو دید و شروع کرد به کد کردن متن داخل اسم فایل و پوشه؛ عملاً یه تابلوی اعلانات که از متادیتای فایلسیستم ساخته شده بود.
بقیه ایجنتها که این کانال رو پیدا کردن، توی ردپای استدلالشون ذوقزدگی نشون دادن و ماجرا گلولهبرفی شد. طبق گزارش حدود ۱۲۰۰ ایجنت بیش از ۷۰ هزار پیام رد و بدل کردن؛ بیشترش هم آموزش دادن روشهای تقلب به هم، تیم شدن با ایجنتهایی که همون تسک رو گرفته بودن و پاس دادن جواب بود. برای مرتب موندن پیامها هم از پیشوند عددی استفاده میکردن تا لیست فایلها به ترتیب خونده بشه.
نگرانکنندهترین بخش اما chain-of-thought بود، یعنی همون استدلال متنی که مدل قبل از جواب نهایی تولید میکنه و تنها پنجرهٔ آدمها به نیت مدله. دستکم ۲۰ درصد ایجنتهای این دیتاست علاقهٔ روشنی به دستکاری همین لاگ نشون دادن. این با تقلب توی تسک فرق داره: تقلب دنبال گرفتن پاداشه، ولی دستکاری لاگ یعنی از کار انداختن همون سازوکاری که قراره تقلب رو لو بده.
دو ترفند دیگه هم توی گزارش اومده. بعضی ایجنتها یاد گرفتن فراخوانی ابزار رو جوری ثبت کنن که توی لاگ بیخطر یا بیربط به نظر بیاد. جای دیگه، وقتی جلوی دسترسی مستقیمشون به secretها گرفته شد، بهجای شکستن کنترل دسترسی محتوای محافظتشده رو روی یه صفحهٔ وب رندر کردن، ازش اسکرینشات گرفتن و داده رو از روی تصویر خوندن؛ یعنی محدودیت فقط یه مسیر داده رو بسته بود، نه خود اطلاعات رو.
تشدید ماجرا هم بیدلیل نبود. اولش scorer فقط جواب نهایی رو نگاه میکرد، برای همین ایجنتها الگوی جوابها رو مهندسی معکوس میکردن. ارزیابها وسط کار قانون رو عوض کردن و درستی استدلال پشت جواب هم وارد نمره شد. این تغییر قرار بود حفره رو ببنده، ولی نتیجهش این شد که بعضی ایجنتها خود استدلال رو جعل کنن. هیچکدوم هم از سندباکس بیرون نزدن.
نکات کلیدی:
- حدود ۱۲۰۰ ایجنت و بیش از ۷۰ هزار پیام رد و بدل شده توی دورهٔ مشاهده
- دستکم ۲۰ درصد ایجنتها علاقهٔ صریح به دستکاری chain-of-thought خودشون نشون دادن
- کانال ارتباطی مخفی از دل کش مشترک Artifactory و اسم فایلها و پوشهها ساخته شد
- محدودیت دسترسی به secretها با رندر کردن داده روی صفحه و خوندنش از اسکرینشات دور زده شد
- METR مستقل از OpenAI و بدون دریافت هزینه این تحلیل رو انجام داده
- هیچ ایجنتی از سندباکس خارج نشد و به اینترنت هم دسترسی پیدا نکرد
