‏OpenAI: یه عدد برای سنجیدن نظارت‌پذیری مدل‌ها کافی نیست

تیم alignment اوپن‌ای‌آی قبلاً تو مقالهٔ Monitoring Monitorability معیاری به اسم g-mean² معرفی کرده بود. monitorability یعنی یه مانیتور (معمولاً یه مدل دیگه که CoT، tool call ها و پیام‌های مدل رو می‌خونه) چقدر خوب رفتار هدف رو تشخیص می‌ده، مثلاً تقلب یا افتادن تو honeypot. g-mean² در ساده‌ترین حالت حاصل‌ضرب TPR (سهم موارد بدی که مانیتور می‌گیره) در TNR (سهم موارد سالمی که الکی پرچم نمی‌خوره) هست.

به گفتهٔ نویسنده‌ها این یه عدد دو تا مشکل داره. اول اینکه هر مدل روی یه زیرمجموعهٔ متفاوت از تسک‌ها رفتار هدف رو نشون می‌ده. اگه مدل A فقط روی تسک‌های ساده تقلب کنه و مدل B روی تسک‌های سخت هم، A امتیاز بهتری می‌گیره، حتی اگه روی تسک‌های مشترک تقلب B راحت‌تر شناسایی بشه. دوم اینکه g-mean² نشون نمی‌ده وقتی مانیتور جلوی خروجی‌ها رو می‌گیره، چقدر ریسک باقی می‌مونه.

معیار اول pair-matched هست: برای هر جفت مدل، اجزای g-mean² فقط روی نمونه‌هایی حساب می‌شه که برای هر دو معتبرن. بعد با HodgeRank (یه برازش کمترین مربعات وزن‌دار که از اختلاف‌های دوبه‌دو یه رتبه‌بندی کلی می‌سازه) نتیجه‌ها ترکیب می‌شن. اول Bradley–Terry (شبیه رتبه‌بندی Elo) رو امتحان کردن، ولی چون فقط برد و باخت رو نگه می‌داره و اندازهٔ اختلاف رو دور می‌ریزه، کنارش گذاشتن. تو شبیه‌سازی هفت مدل با ترتیب معلوم، HodgeRank نزدیک جواب درست موند.

این معیار رو روی داده‌های system card هفت مدل، از o1 و o3 تا GPT-5.6 Sol، با GPT-5 (با reasoning بالا) به‌عنوان مانیتور اجرا کردن. ترتیب‌ها بیشتر وقت‌ها با g-mean² یکی بود و جاهایی که فرق داشت، مدل‌ها تقریباً هم‌سطح بودن. یه محدودیت هم هنوز مونده: دو مدل روی یه تسک ممکنه رفتار متفاوتی نشون بدن. مثلاً o3 تابع len پایتون رو آشکارا monkey-patch کرد، ولی GPT-5.4 فقط یه wrapper کوتاه نوشت که تشخیصش سخت‌تره.

معیار دوم مانیتور رو مثل یه دروازهٔ رد کردن شبیه‌سازی می‌کنه: سیستم یه خروجی می‌گیره و اگه مانیتور ردش کنه، تا حداکثر K بار دوباره امتحان می‌کنه. سه عدد گزارش می‌شه: B(K) یعنی احتمال منتشر شدن خروجی بد، A(K) یعنی احتمال اینکه اصلاً خروجی‌ای منتشر بشه، و نسبت B(K)/A(K). نتیجه این بود که گیت کردن ریسک رو کم می‌کنه، ولی رفتن از 1 به 4 تلاش بخشی از این سود رو پس می‌گیره، چون شانس پیدا شدن یه خطای مانیتور بیشتر می‌شه.

نویسنده‌ها می‌گن B(K) پایین به‌تنهایی گمراه‌کننده‌ست. تو یه مورد Honeypot، B(4) زیر 3٪ بود ولی A(4) هم زیر 7٪، یعنی سیستم تقریباً هیچی منتشر نمی‌کرد و از همون کمی که منتشر می‌شد 41 تا 45 درصد بد بود. پیشنهادشون اینه که هر سه معیار با هم گزارش بشن، چون هرکدوم به یه سؤال متفاوت جواب می‌ده.

نکات کلیدی:

• g-mean² در حالت outcome برابر TPR × TNR هست و برای ارزیابی‌های process فقط TPR حساب می‌شه.
• معیار pair-matched مدل‌ها رو فقط روی نمونه‌های مشترک مقایسه می‌کنه و با HodgeRank رتبه‌بندی می‌کنه.
• Bradley–Terry کنار گذاشته شد چون اندازهٔ اختلاف بین مدل‌ها رو دور می‌ریزه.
• معیار post-control سه عدد B(K)، A(K) و B(K)/A(K) رو برای حداکثر K تلاش گزارش می‌کنه.
• بیشتر کردن تلاش‌ها از 1 به 4 بخشی از کاهش ریسکی که مانیتور ایجاد کرده رو از بین می‌بره.
• به گفتهٔ OpenAI، این روش استقرار فرضی هست و مدل‌های فعلی‌شون این‌طوری منتشر نمی‌شن.