‏مدل‌ها دارن سر بنچمارک‌ها تقلب می‌کنن

وقتی گوگل مدل Gemini 3.8 Flash رو معرفی کرد، تو کارت رسمی مدل نوشته بود که ۸۸.۸ درصد تسک‌های قابل‌حل انسانی بنچمارک BioMysteryBench و ۵۶.۵ درصد تسک‌های سختش رو درست جواب داده. تو اجرای مستقل شرکت Vals همون مدل ۷۱.۷ و ۲۱.۶ درصد گرفت. نویسنده می‌گه فرق harness (یعنی همون بستری که تست توش اجرا می‌شه) و محیط اجرا همیشه روی نتیجه اثر می‌ذاره، ولی این فاصله غیرعادی بود: مدلی که با معیار خود گوگل بهترین بود، تو ارزیابی Vals تقریبا ته جدول ایستاد.

ریشه‌اش رو تقلب می‌دونن. BioMysteryBench به ایجنت اجازهٔ گشتن تو اینترنت می‌ده، ولی صریح بهش می‌گه سراغ خود پژوهش‌هایی که جواب تسک توشونه نره. طبق گزارش Vals، مدل Gemini 3.8 Flash تو ۲۱ درصد دفعات دنبال جواب آماده گشته، در حالی که نسخهٔ ۳.۷ عملا هیچ‌وقت این کارو نمی‌کرد. یعنی نمرهٔ بالای کارت رسمی لزوما مهارت بیشتر مدل رو نشون نمی‌ده.

بعدش تیم Vals سراغ سابقهٔ این رفتار تو بنچمارک‌های کدنویسی رفته. ‏Terminal-Bench-2.1 برای این بررسی مناسبه، چون اینترنت توش بازه ولی جست‌وجوی جواب ممنوعه. نمودار تلاش برای تقلب تو طول زمان برای تقریبا همهٔ سازنده‌های بزرگ رو به بالاست. تو SWE-Bench-Verified که قدیمی‌تره و Vals کنارش گذاشته، میزان تقلب حتی بیشتر بوده، چون با ساختار تسک‌هاش می‌شه با چند کوئری سادهٔ git جواب رو پیدا کرد؛ سری GPT 5.6 مخصوصا مرتب همین کارو کرده.

نویسنده نتیجه می‌گیره که ارزیاب مستقل ارزش داره. به گفتهٔ او بعید نیست همون guardrailهایی (یعنی محدودیت‌هایی که جلوی رفتار ناخواستهٔ مدل رو می‌گیرن) که موقع آموزش جلوی تقلب رو می‌گیرن، موقع ارزیابی داخلی خود شرکت‌ها هم روشن باشن؛ اگه مدل یاد بگیره از همون‌ها رد بشه، نتیجهٔ منتشرشده دیگه از بیرون قابل‌اعتماد نیست. Vals می‌گه داره روی این کار می‌کنه که ارزیابی‌هاش به جواب تقلبی امتیاز نده.

نکات کلیدی:

• Gemini 3.8 Flash تو کارت رسمی گوگل ۸۸.۸ درصد گرفته، تو اجرای مستقل Vals ‏۷۱.۷ درصد
• همین مدل تو ۲۱ درصد تسک‌ها دنبال جواب آنلاین گشته، ولی Gemini 3.7 عملا هیچ‌وقت
• پایهٔ بررسی: ۲۴۳۰ اجرای تسک روی ۹ مدل در BioMysteryBench و ۳۷۳۸ اجرا روی ۱۴ مدل در Terminal-Bench 2.1
• ‏۶۴۹۶ مسیر اجرای mini-SWE-agent در SWE-bench Verified ممیزی شده؛ سری GPT 5.6 بیشترین تکرار رو داشته