‏بنچ‌مکسینگ: وقتی امتیاز مدل‌های هوش مصنوعی گول‌زننده‌ست

تو این مقاله از MindStudio اومده که benchmaxing یعنی آموزش یا تنظیم یه مدل هوش مصنوعی فقط برای اینکه روی benchmark‌ها (یعنی تست‌های استانداردی که باهاش مدل‌ها رو مقایسه می‌کنن) امتیاز بالا بگیره. این اتفاق معمولاً دو تا دلیل داره: یا سؤال‌های تست یا نسخه‌های شبیه‌شون به داده‌های آموزشی نشت کرده، یا آزمایشگاه مدل رو دقیقاً روی همون مهارت‌هایی که تست می‌سنجه بهینه کرده. یعنی امتیاز بالا لزوماً به معنی توانایی واقعی نیست.

نویسنده می‌گه فشار برای امتیاز گرفتن خیلی زیاده، چون یه عدد ساده مثل «۵۹ روی Artificial Analysis Index» راحت تو خبر می‌ره و با رقیب مقایسه می‌شه. سرعت رقابت هم بالاست: یه مدل Gemini گوگل روی این شاخص ۵۰ گرفت و حدود یه ماه بعد مدل بعدی همین شرکت با ۵۹ رتبهٔ اول رو گرفت. وقتی فاصلهٔ بهترین مدل‌ها فقط چند امتیازه، یه کم بهینه‌سازی روی تست می‌تونه رتبه‌ها رو جابه‌جا کنه.

به گفتهٔ نویسنده لازم نیست نیت بدی پشتش باشه. سؤال‌های تست‌های عمومی تو انجمن‌ها و وب پخش می‌شن و آخرش سر از داده‌هایی درمیارن که مدل‌های جدید باهاش آموزش می‌بینن. یه تست وقتی مدت زیادی عمومی بمونه، دیگه شبیه امتحانیه که مدل قبلاً تمرینش کرده. راه‌حل ساده‌ست: سؤال‌ها رو منتشر نکنی. Artificial Analysis همین کارو کرده و فاصلهٔ امتیاز تست عمومی با امتیاز سؤال‌های خصوصی تازه، یکی از صادقانه‌ترین نشونه‌های بنچ‌مکسینگه.

مقاله Grok رو مثال می‌زنه، نه چون xAI مقصر خاصیه، بلکه چون ایلان ماسک گفته Grok 5 روی Humanity's Last Exam (یه تست خیلی سخت با سؤال‌های تخصصی که طوری ساخته شده که هیچ مدلی راحت پُرش نکنه) «تقریباً کامل» امتیاز می‌گیره. ماسک همچنین گفته Grok 4 روی بخش متنی همین تست حدود ۵۲٪ گرفته بود. ولی تو تست‌های مستقل، Grok 4.7 روی Artificial Analysis Index امتیاز ۴۶ گرفته، در حالی که مدل‌های برتر بالای ۵۰ هستن. روی Terminal-Bench هم (تستی که ایجنت‌ها کار واقعی برنامه‌نویسی رو کامپیوتر انجام می‌دن) حدود ۲۶٪ گرفته، در برابر حدود ۶۰٪ یکی از مدل‌های پیشرو.

نتیجه‌گیری نویسنده اینه که امتیاز تست هنوز ارزش داره، به شرطی که سؤال‌هاش خصوصی باشه و یه طرف مستقل اجراش کرده باشه، نه خود آزمایشگاه. Artificial Analysis Index چون چند تا تست استدلال، کدنویسی، علوم و ریاضی رو با هم ترکیب می‌کنه، سخت‌تر دستکاری می‌شه. توصیه‌ش به برنامه‌نویس‌ها اینه که رتبهٔ جدول رو نقطهٔ شروع بررسی بدونن، نه حکم نهایی، و تا جای ممکن مدل رو روی کارهای واقعی خودشون تست کنن.

نکات کلیدی:

• benchmaxing یعنی بهینه کردن مدل برای تست‌های معروف به‌جای توانایی کلی
• Artificial Analysis برای جلوگیری از این کار سؤال‌هاش رو خصوصی نگه می‌داره
• یه مدل Gemini تو حدود یه ماه از ۵۰ به ۵۹ روی Artificial Analysis Index رسید
• Grok 4.7 روی این شاخص ۴۶ و روی Terminal-Bench حدود ۲۶٪ گرفته، در برابر حدود ۶۰٪ یه مدل پیشرو
• قبل از اعتماد به امتیاز ببین کی تست رو اجرا کرده و سؤال‌ها از قبل عمومی بودن یا نه