‏تست نفوذ METR روی سیستم نظارت ایجنت‌های OpenAI

از ۲۱ ژوئیه تا ۱۱ آگوست، یه نفر از METR و یه نفر از Redwood Research سیستم misalignment monitoring داخلی OpenAI رو تست کردن. یعنی سیستمی که کارهای ایجنت‌های کدنویسی داخلی (مثل Codex) رو می‌خونه تا ببینه رفتار خطرناک یا ناهماهنگ با هدف دارن یا نه. خروجی کار یه گزارش ۶۱ صفحه‌ای داخلی بود و چیزی که منتشر شده فقط یه خلاصه‌ی کوتاهه.

دسترسی‌شون خیلی عمیق بوده: کد داخلی، پرامپت‌ها و تنظیمات مانیتور، مستندات و مصاحبه با حدود ده دوازده تا مهندس. همه‌ی کار روی دستگاه‌های OpenAI و داخل شرکت انجام شده. تیم تأکید می‌کنه که این یه آزمایش اولیه برای دسترسی دادن به محقق بیرونی بوده و یافته‌ها فقط مربوط به سیستم تا قبل از ۲۱ ژوئیه‌ست، نه نسخه‌ی گسترش‌یافته‌ی فعلی.

به تخمین تیم، حدود ۷۵ تا ۹۴ درصد ترافیک ایجنتی Responses API از مدل‌های هم‌سطح GPT-5.5 به بالا واجد نظارت بوده و برای ایجنت‌های داخلی Codex این عدد ۹۹.۲٪ بوده. ولی اول کار، اجراهای آموزش RL اصلاً زیر نظارت نبودن. compaction events (یعنی وقتی context طولانی ایجنت خلاصه و فشرده می‌شه) هم مانیتور نمی‌شدن و احتمالاً حدود ۱۰٪ ترافیک Codex بین مه تا ژوئیه از دست رفته. OpenAI این یکی رو خودش هم پیدا کرده بود و وسط تست درستش کرد.

یه مشکل جالب این بود که مانیتور فقط وقتی اجرا می‌شد که ایجنت کنترل رو به کاربر برمی‌گردوند. پس یه ایجنت می‌تونست با ادامه دادن بی‌وقفه‌ی کارش، نظارت رو تا هر وقت بخواد عقب بندازه. تیم همچنین راهی پیدا کرد که ایجنت‌های Codex در اصل بتونن sandbox و Auto-Review رو دور بزنن و هر کاری که کاربر میزبان می‌تونه بکنه رو انجام بدن.

موارد دیگه: دو تا header قابل‌کنترل از سمت کلاینت که نظارت رو برای ایجنت جدید خاموش می‌کرد (هرچند خود تنظیم کردنش ممکن بود دیده بشه)، فرق در serialization بین چیزی که ایجنت می‌بینه و چیزی که مانیتور می‌بینه که می‌تونست مانیتور رو از کار بندازه، و دو تا ابزار ظاهراً فقط‌خوندنی که می‌شد باهاشون کار دلخواه کرد. جزئیات یه اکسپلویت هم توسط OpenAI حذف شده. نرخ خطای مانیتور هم زیر ۰.۲٪ گزارش شده.

تیم در آخر چند تا اصل طراحی پیشنهاد می‌ده: فرار از نظارت سخت باشه و ایجنت‌ها هر N پیام یا دقیقه چک بشن، حساب همه‌ی ترافیک نگه داشته بشه و با لاگ مانیتور مقایسه بشه، واکنش به حادثه مالک مشخص داشته باشه، خود سیستم نظارت مرتب red-team بشه و ایجنت از مانیتورش جدا نگه داشته بشه. OpenAI می‌گه همه‌ی آسیب‌پذیری‌ها پچ شدن، ولی METR این ادعا رو بررسی نکرده.

نکات کلیدی:

• بازه‌ی تست: ۲۱ ژوئیه تا ۱۱ آگوست، با یه گزارش داخلی ۶۱ صفحه‌ای
• ۷۵ تا ۹۴ درصد ترافیک Responses API و ۹۹.۲٪ ترافیک Codex واجد نظارت بوده
• اجراهای آموزش RL اول تست اصلاً مانیتور نمی‌شدن
• نبود نظارت روی compaction حدود ۱۰٪ ترافیک Codex رو بی‌نظارت گذاشته بود
• دو header سمت کلاینت می‌تونست نظارت رو برای ایجنت جدید خاموش کنه
• OpenAI می‌گه همه‌ی موارد پچ شدن، ولی METR این رو تأیید نکرده