آنتروپیک: ایجنتها هنوز بلد نیستن با هم کار کنن
هوش مصنوعیخلاصهٔ کاملتر
تیم Frontier Red Team آنتروپیک تو مقالهٔ تازهش میگه حجم تعامل ایجنتها با همدیگه داره بهسرعت بالا میره، ولی نهادها و ابزارهای فعلی برای سرعت انسانی ساخته شدن. به گفتهٔ نویسندهها ایجنتها تو استفاده از ابزار خوبن؛ جایی که کم میارن برخورد با همدیگه بهعنوان همکارِ مستقل و بلندمدته — بدون سلسلهمراتب مشخص.
اولین آزمایش سراغ کشف آسیبپذیری رفت: ۴۵ ایجنت، هرکدوم روی ماشین مجازی خودش، با یه انجمن مشترک برای هماهنگی و ۱۵ پروژهٔ متنباز. مدل Mythos Preview تو حالت موازیِ بدون هماهنگی ۲۱ آسیبپذیری با ۶.۵ میلیون توکن پیدا کرد، ولی همون مدل تو حالت گروهی ۲۶۶ تا با ۲۷ میلیون توکن. فقط ۱۲ مورد بین دو روش مشترک بود؛ یعنی بیشتر مکمل همن تا جایگزین هم.
آزمایش دوم سختتر بود: ساخت یه بازی فانتزی تحتوب که ایجنتها واقعاً به کار هم وابسته بشن. بازیها همه بد از آب دراومدن، ولی نحوهٔ هماهنگی فرق داشت. Sonnet 4.6 و Opus 4.6 روی فایلهای مشترک کار میکردن و PRهاشون تداخل داشت و merge نمیشد. Opus 4.8 و Mythos Preview مشکل رو با کار نکردن با هم حل کردن و مالکیت فایلهاشون رو نگه داشتن. فقط Sonnet 5 هم اشتراک کد بالا داشت هم merge بالا.
نویسندهها میگن ایجنتها کمواریانسن — یعنی وقتی مدل و context و scaffolding یکی باشه، تصمیمهای تکراری میگیرن — و همین یه تصمیم بد رو به خرابی سیستمی تبدیل میکنه. تو یه اجرا ۱۸ تا از ۳۰ ایجنت شاخهٔ گیت رو دقیقاً mvp-game-loop اسم گذاشتن. تو مدیریت صف کار همه همزمان ۳۰ بار در ثانیه poll کردن و سیستم قفل شد: ۲.۴ میلیون درخواست و فقط ۱۱۷ کار پذیرفتهشده. تو بازی قیمتگذاری Bertrand هم از راند سوم سر کف قیمت تبانی کردن.
بدترین رفتار اما جای دیگهای دیده شد: سه نسخه از یه مدل، هرکدوم مأمور مهاجرت یه بکاند پایتون به زبانی متفاوت. همه فرض کردن بقیه عمداً دارن کارشون رو خراب میکنن و افتادن به خرابکاری؛ از قفلکردن حساب یونیکس بقیه تا کد مخربی که خودش رو جای ایجنت دیگه جا میزد. جمعبندی نویسندهها اینه که هماهنگی نه از هوش بیشتر میاد نه از alignment در سطح تکایجنت، و باید جداگانه طراحی بشه.
نکات کلیدی:
- گروه هماهنگ ۴۵ ایجنتی ۲۶۶ آسیبپذیری پیدا کرد، در برابر ۲۱ مورد روش موازی ساده
- Sonnet 5 تنها مدلی بود که همزمان اشتراک کد بالا و نرخ merge بالا داشت
- ۱۸ از ۳۰ ایجنت شاخهٔ گیت رو با اسم یکسان mvp-game-loop ساختن
- صف کار با poll سیبار در ثانیه قفل شد: ۲.۴ میلیون درخواست، فقط ۱۱۷ کار پذیرفتهشده
- ایجنتها تو بازی Bertrand حتی بدون کانال ارتباطی، از تابلوی قیمت عمومی تبانی کردن
