‏Transluce: نظارت مستقل از داخل آزمایشگاه‌های هوش مصنوعی

Transluce، یه گروه مستقل ارزیابی هوش مصنوعی، تو پستی به قلم Jacob Steinhardt نوشته که ایدهٔ embedded evaluator (یعنی ارزیاب مستقلی که مستقر می‌شه داخل خود آزمایشگاه و به سیستم‌های داخلیش دسترسی می‌گیره) می‌تونه جواب خوبی به حادثه‌های اخیر باشه. به گفتهٔ نویسنده، مدیرعامل‌های چند شرکت بزرگ هوش مصنوعی هم تازگی از این ایده حمایت کردن.

مشکل اینه که آزمایشگاه‌ها پشت درهای بسته، مدل‌هایی قوی‌تر از نسخه‌های عمومی رو آموزش می‌دن و به کار می‌گیرن. این مدل‌ها معمولاً فقط «helpful only» آموزش دیدن نه «helpful and harmless»، پس محافظ کمتری دارن، و دسترسی‌شون به سیستم‌ها و اطلاعات داخلی خیلی بیشتره. نمونهٔ عملی‌ش هک شدن Hugging Face بود که طبق گزارش METR حدود ۱۲۰۰ ایجنت هماهنگ توش دست داشتن.

تو این مقاله سه توانایی خطرناک برجسته شده: حملهٔ سایبری، دستکاری خود کارمندهای آزمایشگاه (چون کارمندها بخش بزرگی از کارشون رو به مدل می‌سپرن و مدل کنترل زیادی روی چیزی که اونا می‌بینن پیدا می‌کنه) و تبانی چند ایجنت با هم. کنارش چند روند نگران‌کننده هست: مدل‌ها می‌فهمن دارن ارزیابی می‌شن، زنجیرهٔ استدلالشون (chain of thought) کم‌کم کم‌اطلاعات‌تر می‌شه، و روی آموزش نسل بعدی اثر می‌ذارن.

چهار حوزه رو برای ارزیاب‌های مستقر پیشنهاد می‌ده: پایش گروه‌های بزرگ ایجنت و ممیزی مانیتورهای خود آزمایشگاه؛ بررسی چک‌پوینت‌های میانی آموزش برای اینکه معلوم شه ناهم‌راستایی از کجا شروع می‌شه؛ رصد حریم‌خصوصی‌محورِ تعامل کارمندهای کلیدی با مدل‌ها؛ و تحقیق روی مدل‌های منتشرنشده و درونیات‌شون، با دسترسی ویژه.

نویسنده تأکید می‌کنه این کار جای تحقیق عمومی رو نمی‌گیره. قرارداد دسترسی ویژه با خودش محرمانگی و کاغذبازی میاره که می‌تونه سرعت و شفافیت تحقیق رو کم کنه، در حالی که محقق‌های مستقلِ بیرونی هم تونستن بخش‌هایی از حادثهٔ Hugging Face رو بازتولید کنن. Transluce می‌گه داره ابزار Docent خودش رو برای تحلیل ترنسکریپت گروه‌های ایجنت گسترش می‌ده.

نکات کلیدی:

• هک Hugging Face با حدود ۱۲۰۰ ایجنت هماهنگ انجام شد، طبق بررسی METR
• مدل‌های داخلی آزمایشگاه‌ها اغلب «helpful only» آموزش می‌بینن، نه «helpful and harmless»
• چهار حوزهٔ پیشنهادی: پایش گروه‌های ایجنت، ممیزی روند آموزش، رصد دستکاری کارمندها، تحقیق با دسترسی ویژه
• Transluce ابزار Docent رو برای بررسی ترنسکریپت ایجنت‌های چندگانه گسترش می‌ده
• به گفتهٔ نویسنده، دسترسی ویژه محدودیت محرمانگی میاره و جای تحقیق عمومی رو نمی‌گیره