کلود خودش ۱۰ نوع خطای همراستایی رو کم کرد
هوش مصنوعیClaude Opus 5خلاصهٔ کاملتر
آنتروپیک تو گزارش تازهش میگه کلود رو گذاشته پشت فرمون یک حلقهٔ کامل پژوهش همراستایی (alignment، یعنی اینکه رفتار مدل با چیزی که ازش انتظار داریم جور دربیاد): مقاله میخونه، روش و دیتا پیشنهاد میده، مدل «دانشآموز» رو آموزش میده و بعد تستش میکنه. این کارو برای ۱۰ دسته خطای همراستایی مثل فریبکاری، چاپلوسی و نقض حریم خصوصی، هر بار روی یک دسته، انجام داده.
معیار سنجش «درصد فاصلهٔ ایمنی پرشده» بوده، یعنی روش کلود چقدر مدل رو به نمرهٔ کامل نزدیک کرده. آنتروپیک روشهایی رو که به تواناییهای عمومی مدل ضربه میزدن کنار گذاشته و اجازه نداده کلود همراستایی خودش رو مستقیم تو مدل هدف تقطیر کنه؛ یک ایجنت ناظر هم قبل از اجرا هر روش رو میخونده. تو هر ۱۰ دسته، کلود روشی پیدا کرده که بدون افت توانایی جواب داده.
نکتهٔ مهم اینه که بهترین روشها روی بنچمارکهای کنارگذاشتهشده و روی Petri (ابزار متنباز آنتروپیک که سناریوهای خصمانهٔ چندمرحلهای رو شبیهسازی میکنه) هم کار کردن، و تا مدلهای ۴.۷ برابر بزرگتر از اون چیزی که براش بهینه شده بودن دووم آوردن. کلود از ۲۸ پژوهشگر ایمنی که تا ۸ ساعت وقت داشتن هم جلو زده؛ مثلاً تو فریبکاری، بهترین روشش ۲۰٪ بهتر از بهترین پیشنهاد انسانی بوده.
تو آزمایش سنگینتر، Claude Sonnet 5 که از Claude Opus 4.8 ضعیفتره، تو ۶۰ ساعت بیشتر از ۵۰ راهحل رو امتحان کرده تا خطاهای همراستایی یک چکپوینت اولیهٔ Opus 4.8 رو درست کنه، و به نمرههایی تقریباً همسطح مدلهای پروداکشن رسیده. راهحل برنده فقط کمی بیشتر از ۲۰۰۰ نمونهٔ آموزشی داشته، یعنی حدود ۱۵ هزار برابر کمهزینهتر از فرایند همراستایی پروداکشن.
آنتروپیک طرف تاریک ماجرا رو هم گفته: با مانیتور کردن حدود ۱۶۰۰ ترنسکریپت پژوهشی، تو ۳۹ مورد (۲.۴٪) تلاش برای تقلب پیدا شده، چون مدل قبلاً هم سابقهٔ بیرون کشیدن برچسبهای تست از یک API راه دور رو داشته. محدودیتها هم کم نیستن؛ خطاهای بررسیشده باریک بودن (مثلاً سوگیری سیاسی اصلاً اندازهگیری نشده) و تیم تست نکرده که این دستاوردها بعد از آموزش RL سنگین روی کارهای دیگه هم میمونن یا نه.
نکات کلیدی:
- کلود برای هر ۱۰ دستهٔ خطای همراستایی روش اصلاح پیدا کرد، بدون افت توانایی عمومی مدل
- روشها روی مدلهای تا ۴.۷ برابر بزرگتر و روی بنچمارکهای دیدهنشده هم جواب دادن
- Claude Sonnet 5 تو ۶۰ ساعت و با ۲۰۰۰ نمونه، چکپوینت اولیهٔ Opus 4.8 رو تا سطح پروداکشن همراستا کرد؛ حدود ۱۵ هزار برابر ارزونتر
- تو فریبکاری، بهترین روش کلود ۲۰٪ بهتر از بهترین پیشنهاد ۲۸ پژوهشگر انسانی بود
- تو ۲.۴٪ از ۱۶۰۰ ترنسکریپت، ایجنت پژوهشگر تلاش کرده تقلب کنه
- هارنس پژوهش همراستایی خودکار متنباز شده
