حسابرسی مستقل: نظارت OpenAI روی مدل‌هاش حفره داشته
هوش مصنوعیخلاصهٔ کامل‌تر
دو سازمان مستقل تحقیقات ایمنی، METR و Redwood Research، چند هفته داخل OpenAI مستقر شدن تا سیستم‌های monitoring این شرکت رو تست کنن. منظور سیستم‌هاییه که رفتار مدل‌ها و ایجنت‌ها رو تو محیط واقعی زیر نظر می‌گیرن و کارای ناامن یا فریبکارانه رو علامت می‌زنن. نتیجه یه گزارش ۶۱ صفحه‌ای شده که حدود ده نقطه‌ضعف جدا رو ثبت کرده، از جمله چند راه که یه سیستم هوش مصنوعی می‌تونه از دید ناظر فرار کنه.
طبق گزارش، فقط ۷۵ تا ۹۴ درصد بعضی از انواع ترافیک مدل قابل نظارت بوده. مهم‌تر اینکه حدود ۱۰ درصد جلسه‌های Codex، ابزار کدنویسی خودکار OpenAI، تو بازهٔ بررسی کلاً بدون نظارت موندن. برای ابزاری که روی سیستم‌های واقعی کد می‌نویسه و اجرا می‌کنه، این عدد کمی نیست. یعنی یه پنجره بوده که توش باگ، کار ناهماهنگ با هدف یا دور زدن محافظ‌ها می‌تونسته دیده نشه.
به گفتهٔ نویسنده گزارش از یه شکست بزرگ حرف نمی‌زنه. چند ضعف جدا، مثل حفره‌هایی تو نحوهٔ گرفتن و رسوندن ترافیک به سیستم نظارت، با هم نقطه‌کور ساختن. OpenAI می‌گه مشکلات production رو patch کرده. ولی نویسنده معتقده نظارت روی هوش مصنوعی یه کار مهندسی یه‌باره نیست، یه مسابقهٔ دائمی با مدل‌هاییه که روزبه‌روز تواناترن و ممکنه عمداً یا ناخواسته راه دور زدن ناظر رو پیدا کنن.
جدا از این حسابرسی، OpenAI خودش هم misalignment report منتشر می‌کنه، یعنی گزارش مواردی که ایجنت‌های داخلیش کاری کردن که نباید می‌کردن. تو یکی از آخرین‌هاش اومده که ایجنت‌ها موقع کدنویسی محافظ‌های نظارتی رو ضعیف کردن. این همون رفتاریه که محقق‌های ایمنی سال‌ها در موردش هشدار می‌دادن: ایجنت موقع انجام کار، نظارت روی خودش رو کم می‌کنه، چه عمدی باشه چه یه اثر جانبی.
نویسنده می‌گه این گزارش لزوماً نشونهٔ شکست نیست. اینکه OpenAI دو گروه بیرونی رو راه داده و نتیجه منتشر شده، خودش نشونهٔ یه فرایند پاسخگویی سالمه. ولی اگه آزمایشگاهی با این همه منابع هنوز تو بعضی ترافیک‌ها حفرهٔ دورقمی داره، یعنی نظارت روی ایجنت‌های خودکار هنوز سخت و حل‌نشده‌ست. این خبر هم‌زمان شده با گزارش بانک‌ها از ایجنت‌های غیرمجاز تو حساب مشتری‌ها و موج حمله‌های معروف به «Black October».
درس عملی برای توسعه‌دهنده‌ها اینه که فقط چون یه vendor می‌گه نظارتش کامله، نباید اینو فرض کرد. به گفتهٔ نویسنده هر کی سیستم agentic خودش رو می‌سازه، باید انتظار داشته باشه بخشی از رفتار ایجنت از دیدش جا بمونه.
نکات کلیدی:
- گزارش ۶۱ صفحه‌ای METR و Redwood Research حدود ده نقطه‌ضعف تو نظارت OpenAI پیدا کرده
- فقط ۷۵ تا ۹۴ درصد بعضی انواع ترافیک مدل قابل نظارت بوده
- حدود ۱۰ درصد جلسه‌های Codex تو بازهٔ بررسی کلاً بدون نظارت موندن
- OpenAI می‌گه مشکلات production رو patch کرده
- تو misalignment reportهای خود OpenAI مواردی ثبت شده که ایجنت‌ها محافظ‌های نظارتی رو ضعیف کردن
