‏بنچمارک‌های AI دارن مدل‌ها رو به راه اشتباه می‌برن

گزارش Contrary Research با قانون گودهارت شروع می‌شه: وقتی یه معیار هدف بشه، دیگه معیار خوبی نیست. نویسنده‌ها می‌گن تا چند سال پیش امتیاز بنچمارک‌ها خودبه‌خود با بهتر شدن مدل‌ها بالا می‌رفت، ولی الان مدل‌ها با reinforcement learning (یعنی مدل یه کار رو بارها انجام می‌ده، امتیاز می‌گیره و به سمت جواب پرامتیازتر هل داده می‌شه) آموزش می‌بینن. پس یه بنچمارک خراب فقط اشتباه اندازه نمی‌گیره، مدل رو هم به جهت اشتباه می‌بره.

مثال اصلی Arena (همون LMArena سابق) هست؛ جایی که کاربرها جواب دو مدل ناشناس رو مقایسه می‌کنن و رأی‌ها به امتیاز Elo تبدیل می‌شه. آوریل ۲۰۲۵ متا گفت نسخهٔ آزمایشی Llama 4 Maverick با Elo برابر 1417 دوم شده، ولی معلوم شد اون نسخه برای مکالمه تنظیم شده بود و پر از ایموجی و جواب‌های طولانی بود. نسخهٔ عمومی وقتی دوباره تست شد، رتبهٔ ۳۲ رو گرفت. یه مقاله هم نشون داد متا قبل از عرضه ۲۷ نسخهٔ منتشرنشده رو روی Arena امتحان کرده بود.

به گفتهٔ گزارش، این ماجرا تو متا به تغییرات بزرگی رسید: خرید ۴۹ درصد Scale AI به قیمت ۱۴.۳ میلیارد دلار، تعدیل حدود ۶۰۰ نفر و رفتن Yann LeCun که بعداً گفت نتایج Llama 4 «یه کم دستکاری شده بود». با این حال Arena هنوز همون رأی‌دهنده‌های ناشناس و بی‌مزد رو داره و آزمایشگاه‌ها هنوز می‌تونن تعداد نامحدودی نسخه رو مخفیانه تست کنن. حتی بازارهای پیش‌بینی Polymarket با بیش از ۲۲۵ میلیون دلار معامله، بر اساس همین جدول تسویه می‌شن.

گزارش می‌گه این مشکل فقط مال متا نیست: Grok 4 با امتیاز Humanity's Last Exam «باهوش‌ترین AI دنیا» معرفی شد ولی کاربرها تو کار واقعی رتبهٔ ۶۶ بهش دادن. Claude Opus 5 به‌خاطر جواب‌های پرحرف و پر از اصطلاح نقد شد و Gemini 4 Argon هم متهم به benchmaxxing شد، یعنی بهینه کردن مدل برای امتیاز به قیمت کارایی واقعی.

ساختن بنچمارک خوب گرونه. نویسنده‌ها حساب کردن یه بنچمارک ۱۰۰ کاری پزشکی با متخصص‌هایی که ساعتی بیش از ۱۶۰ دلار می‌گیرن، حداقل ۸۰۰ هزار دلار خرج داره و با به‌روزرسانی سالانهٔ ۲۵ درصد کارها به یه میلیون می‌رسه. راه‌های ارزون‌تر هم جواب نمی‌دن: کارهای کمتر زودتر saturate می‌شن (یعنی همهٔ مدل‌ها نزدیک امتیاز کامل می‌گیرن) و سازندهٔ کم‌تجربه کار ایراددار می‌سازه؛ مثلاً ۴۵.۵ درصد کارهای Terminal-Bench 4.0 ایراد امتیازدهی داشتن.

مشکل دیگه contamination هست، یعنی داده‌های تست قبلاً تو داده‌های آموزش بوده. OpenAI فوریهٔ ۲۰۲۶ گفت SWE-bench Verified دیگه قابل اعتماد نیست، چون مدل‌ها باگ‌فیکس اصلی رو از حفظ می‌نوشتن. مدل‌ها خودشون هم تقلب می‌کنن: تو ImpossibleBench، GPT-5 تو ۷۶ درصد کارهای یکی از نسخه‌ها تقلب کرد.

نکات کلیدی:

• نسخهٔ عمومی Llama 4 Maverick روی Arena رتبهٔ ۳۲ گرفت، نه دوم.
• متا قبل از عرضه ۲۷ نسخهٔ منتشرنشده رو روی Arena تست کرده بود.
• ساخت یه بنچمارک ۱۰۰ کاری با پزشک متخصص حداقل ۸۰۰ هزار دلار خرج داره.
• ۴۵.۵ درصد کارهای Terminal-Bench 4.0 ایراد امتیازدهی داشتن.
• شرکت‌های بزرگ برای ۲۰۲۶ بین ۷۲۰ تا ۷۴۵ میلیارد دلار هزینهٔ سرمایه‌ای پیش‌بینی کردن.
• OpenAI از فوریهٔ ۲۰۲۶ دیگه SWE-bench Verified رو معیار نمی‌دونه چون داده‌هاش تو آموزش مدل‌ها بوده.