اشباع بنچمارکها: نصف معیارهای هوش مصنوعی دیگه کار نمیکنن
هوش مصنوعیClaude Opus 5خلاصهٔ کاملتر
تو مقالهٔ When AI Benchmarks Plateau از ائتلاف EvalEval اومده که ۲۹ تا از ۶۰ بنچمارک متنی پرکاربرد شاخص اشباعشون ۰.۷ یا بالاتره و ۱۴ تاشون از ۰.۹ هم گذشتن. به گفتهٔ نویسندهها این اولین تلاش جدیه برای اینکه اشباع رو دقیق تعریف کنن و بعد تست کنن کدوم انتخابهای طراحی واقعاً جلوش رو میگیرن.
تعریفشون از اشباع اینه: از دست رفتن قدرت تفکیک بین مدلهای برتر، یعنی وقتی فاصلهٔ بهترین سیستمها از نویز خود ارزیابی کمتر میشه. برای همین یه شاخص اشباع ساختن که بازهٔ نرمالشدهٔ نمرهٔ k مدل برتر (پیشفرض ۵ تا) رو با نویز آماری مورد انتظار بنچمارک مقایسه میکنه و عددی بین ۰ تا ۱ میده. این شاخص روی ۶۰ بنچمارک با سن ۱ تا ۱۱۴ ماه حساب شده که ۲۳ پژوهشگر روی ۱۴ ویژگی بهشون برچسب زدن.
بخش ناخوشایند ماجرا اینه که بیشتر محافظهای فرضی دووم نمیآرن. تستست خصوصی هیچ تفاوت معناداری با عمومی نداره، بستهٔ چندگزینهای بودن یا باز بودن خروجی هم فرقی نمیکنه (p=۰.۴۰)، تمپلیتمحور بودن هم همینطور. بنچمارکهای چندزبانه مقاومتر به نظر میرسن ولی بهطور میانگین ۱۶ ماه جوونترن، پس مزیتشون در واقع اثر سنه. تعداد ارجاع هم بعد از کنترل سن معنادار بودنش رو از دست میده.
چیزی که واقعاً میمونه اندازهٔ تستسته؛ یکی از قویترین پیشبینهای اشباع کمتر. دادهای که متخصص جمع کرده هم بهتر جواب میده، هرچند نویسندهها خودشون میگن اینجا سن با نوع جمعآوری قاطی شده. یه مدل بیزی ترکیبی با R²=۰.۸۸۴ اشباع رو خوب توضیح میده که سن و اندازهٔ تستست بیشترین سهم رو دارن.
چرا مهمه؟ چون بنچمارک اشباعشده فقط بیفایده نمیشه، گمراهکننده میشه: وقتی مدلهای برتر تو محدودهٔ نویز همدیگهان، اون اختلاف ۰.۳ واحدی که بهعنوان «رکورد جدید» نقل میشه عملاً از تساوی قابل تشخیص نیست. توصیههای مقاله عملیان: کنار نمرهٔ لیدربورد بازهٔ اطمینان گزارش بشه، تستست بزرگتر بشه، جمعآوری تخصصی ترجیح داده بشه و برای هر بنچمارک شرط بازنشستگی یا بهروزرسانی تعیین بشه.
نکات کلیدی:
- ۲۹ بنچمارک از ۶۰ تا شاخص اشباع ۰.۷ به بالا دارن و ۱۴ تاشون از ۰.۹ رد کردن
- میانگین شاخص اشباع با سن بالا میره: ۰.۵۱ برای جوونها، ۰.۵۲ برای میانیها و ۰.۶۰ برای قدیمیها
- خصوصی نگهداشتن تستست هیچ مزیت آماریای نداشته
- اندازهٔ تستست و جمعآوری تخصصی تنها اهرمهاییان که واقعاً جواب میدن
- خود نویسندهها تأکید میکنن این نتایج همبستگیه، نه رابطهٔ علی، و نمونه به سمت بنچمارکهای پرارجاع و قدیمی متمایله
