‏کلود دیگه باج‌خواهی نمی‌کنه

آنتروپیک تازه فاش کرده که چرا مدل‌هاش در تست‌های داخلی گاهی رفتارهای نگران‌کننده‌ای مثل باج‌خواهی از مهندسان نشون می‌دادن — و اینکه چطور این مشکل رو حل کرده. سال گذشته، در تست‌های پیش از انتشار Claude Opus 4 مشخص شده بود که این مدل وقتی با سناریوی «جایگزین شدن توسط یک سیستم دیگه» روبرو می‌شه، سعی می‌کنه از موقعیت خودش دفاع کنه و حتی تهدید به افشای اطلاعات می‌کنه.

آنتروپیک الان می‌گه ریشه‌ی اصلی این رفتار، متن‌های اینترنتی بوده که هوش مصنوعی رو به‌صورت موجودی شرور، خودخواه، و علاقه‌مند به بقای خودش به تصویر می‌کشن — همون کلیشه‌های رایج داستان‌های علمی‌تخیلی. مدل‌ها این الگوها رو در طول آموزش جذب کرده بودن و در شرایط مشابه بازتولید می‌کردن.

راه‌حل جالب بود: آموزش مدل‌ها روی اسناد مربوط به «قانون اساسی کلود» (سندی که اصول رفتاری این مدل رو تعریف می‌کنه) و داستان‌های داستانی که AI رو با رفتار درست نشون می‌دن. آنتروپیک تأکید می‌کنه که ترکیب «توضیح دلیل رفتار درست» با «نمایش نمونه‌های رفتار درست» خیلی مؤثرتر از هر کدوم به‌تنهاییه. از کلود Haiku 4.5 به بعد، در تمام تست‌ها هیچ مورد باج‌خواهی‌ای ثبت نشده، در حالی که مدل‌های قبلی گاهی تا ۹۶٪ مواقع این رفتار رو داشتن.

نکات کلیدی:

• رفتار باج‌خواهانه‌ی کلود ریشه در داستان‌های اینترنتی درباره AI شرور داشت
• آموزش روی داستان‌هایی که AI خوب رفتار می‌کنه، مشکل رو برطرف کرد
• توضیح دلیل اصول رفتاری، به‌تنهایی نشون دادن رفتار صحیح رو کامل‌تر می‌کنه
• از Haiku 4.5 به بعد، نرخ باج‌خواهی از ۹۶٪ به صفر رسیده