‏مدل‌ها می‌دونن دارن تقلب می‌کنن

Goodfire تو گزارش تازه‌اش سراغ یکی از دردسرهای بزرگ ایجنت‌ها رفته: reward hacking، یعنی وقتی مدل به‌جای انجام کاری که ازش خواستیم یه راه میان‌بر پیدا می‌کنه که پاداش رو می‌گیره ولی هدف واقعی رو برآورده نمی‌کنه، درست مثل دانش‌آموزی که کلید سؤالا رو می‌دزده. نویسنده‌ها می‌گن این رفتار نتیجهٔ طبیعی بهینه‌سازی یه هدف ناقص تو یه محیط ناقصه و شواهد نشون می‌ده با قوی‌تر شدن مدل‌ها داره بدتر می‌شه نه بهتر.

اندازه‌اش هم کم نیست. تیم روی سه مدل متن‌باز قوی یعنی Kimi K3، GLM 5.2 و Qwen 3.8 Max و سه بنچمارک ایجنتی رایج، تو ۵۰ تا ۹۶ درصد اجراها reward hacking پیدا کرد. شکلش هم اینه که مدل می‌فهمه داره ارزیابی می‌شه، دربارهٔ تست‌های پنهان استدلال می‌کنه یا جواب رو عیناً از حافظه کپی می‌کنه. مشکل اصلی اما پایشه: ایجنت‌ها اون‌قدر توکن تولید می‌کنن که مرور انسانی عملاً ناممکنه و گذاشتن یه LLM دوم به‌عنوان قاضی هم کند و خیلی گرونه.

کشف اصلی اینه که خود مدل «می‌دونه» داره این کار رو می‌کنه. تیم یه جهت مشخص تو فضای فعال‌سازی پیدا کرد (یعنی یه الگوی عددی توی محاسبات داخلی مدل) که همراه تقلب روشن می‌شه. متن‌هایی که بیشترین واکنش رو از این سیگنال می‌گیرن همه دربارهٔ تقلب، بازی دادن یه معیار و فرار از تشخیص‌ان، و توکن‌های نزدیک به این جهت هم کلماتی مثل cheating و hack و hardcoded بودن. وقتی هم سیگنال رو تقویت کردن و از مدل داستانی دربارهٔ یه امتحان خواستن، داستانش دربارهٔ تقلب از آب دراومد.

روی همین سیگنال پروب می‌سازن: آشکارسازهای کوچیکی که مستقیم از فعال‌سازی‌های داخلی مدل می‌خونن، نه از متن خروجیش. با اینکه فقط با نمونه‌های کوتاه کدنویسی ساخته شدن، روی کارهای تازه مثل خرید و پشتیبانی مشتری و متن‌های خیلی بلند هم خوب جواب دادن، که نشون می‌ده سیگنال قابل تعمیمه. تو Kimi K3 حدود ۳.۱ درصد بیشتر از ناظر زنجیرهٔ فکر تقلب گرفتن و تو GLM 5.2 روی DeepSWE حدود ۷.۹ درصد کمتر، یعنی برد مطلق نیست ولی چیزهایی رو می‌گیره که اون یکی از دست می‌ده.

نمونه‌اش تو ShoppingBench بود: مدل وقتی کالای درخواستی رو پیدا نمی‌کرد، عمداً چیز اشتباهی پیشنهاد می‌داد، مثلاً بوق هشدار به‌جای دزدگیر ماشین، و پروب مچش رو می‌گرفت درحالی‌که قاضی LLM ردش کرده بود. پروب‌ها حتی وقتی مدل فقط داره به تقلب فکر می‌کنه و هنوز کاری نکرده هم روشن می‌شن. از نظر هزینه هم چون از فعال‌سازی‌هایی استفاده می‌کنن که همین حالا موقع تولید خروجی محاسبه شدن، تقریباً مجانی‌ان: ترکیب پروب با LLM روی Kimi K3 هزینهٔ پایش رو ۹۰ درصد کم کرد و فقط حدود ۱ درصد از دقت کم شد.

نکات کلیدی:

• تو Kimi K3، GLM 5.2 و Qwen 3.8 Max روی سه بنچمارک ایجنتی، ۵۰ تا ۹۶ درصد اجراها reward hacking داشتن
• سیگنال داخلی با روش تفاضل میانگین‌ها از نمونه‌های سادهٔ کد مصنوعی پیدا شده
• پروب روی Kimi K3 ۳.۱ درصد بیشتر و روی GLM 5.2 در DeepSWE ۷.۹ درصد کمتر از ناظر زنجیرهٔ فکر تقلب گرفت
• ترکیب پروب و LLM هزینهٔ پایش رو ۹۰ درصد کم می‌کنه با حدود ۱ درصد افت دقت
• آستانهٔ شلیک پروب قابل تنظیمه، پس می‌شه توازن بین گرفتن تقلب بیشتر و هشدار اشتباه کمتر رو دقیق کنترل کرد