‏livenerf مدل‌ها رو بعد از انتشار می‌پاد

livenerf یک بنچمارک کوچیک و عمداً حوصله‌سربر هست که فقط به یک سؤال جواب می‌ده: مدلی که منتشر شده، بعد از چند هفته بی‌صدا ضعیف‌تر می‌شه یا نه؟ تو README اومده که ماه‌هاست گزارش‌هایی دربارهٔ nerf شدن مدل‌ها هست، یعنی ادعای افت کیفیت بعد از انتشار، چه با quantization چه با یک مدل کوچیک‌تر زیر همون اسم. چون هیچ‌کس خط پایهٔ روز صفر نداشته، بحث آخرش به حس در مقابل حس رسیده. انتشار Opus 5.5 بهونهٔ خوبی شده برای روشن کردن ساعت‌شمار از همون هفتهٔ اول.

نویسنده می‌گه این مدل‌ها رو نمی‌شه دترمینیستیک کرد، چون پارامترهای sampling در دسترس نیست و thinking رو هم نمی‌شه خاموش کرد. پس هر چیز دیگه‌ای قفل شده: پرامپت ثابت، نسخهٔ پین‌شدهٔ Claude Code (۲.۱.۲۸۰)، گریدرهای تابع محض بدون هیچ LLM judge، و لاگ خام که هیچ‌وقت پاک نمی‌شه. بعد جابه‌جایی نتیجه‌ها رو آماری روی هزاران نمونه اندازه می‌گیره. پایه‌ش Inspect هست، فریم‌ورک ارزیابی مؤسسهٔ امنیت هوش مصنوعی بریتانیا، و آمارش هم از مقالهٔ Adding Error Bars to Evals می‌آد.

روش انتخاب سؤال جالبه. از ۲۳۳۶ سؤال GPQA Diamond و MMLU-Pro و ریاضی مسابقه‌ای و AIME، هر کدوم چهار بار پرسیده شده. Opus 5.5 حدود ۹۳ درصد رو بار اول درست جواب داده و ۹۷ درصد سؤال‌ها یا همیشه درست بودن یا همیشه غلط. فقط ۷۸ سؤالی که بعضی وقت‌ها درست جواب داده می‌شن پنل نهایی رو ساختن، چون سؤالی که همیشه درست جواب داده می‌شه نمی‌تونه افت رو نشون بده و فقط توکن می‌سوزونه.

قدرت تشخیص این دستگاه هم شفاف گفته شده. یک اجرا در روز می‌تونه تغییر دقتی حدود ۷.۵ واحد تو هر بازهٔ ده روزه رو ببینه، با حدود ۳.۶ درصد از سهمیهٔ هفتگی پلن. تو تست اعتبارسنجی، کم کردن effort به low باعث ۶۲ درصد کاهش توکن خروجی و ۸.۳ واحد افت دقت شد، یعنی کم‌فکر شدن مدل اول تو تعداد توکن پیداست نه تو دقت. ولی یک محدودیت مهم هم هست: جایگزین کردن Opus 5 به‌جای Opus 5.5 با اطمینان ۹۹ درصد قابل تشخیص نبود.

قاعدهٔ تصمیم قبل از هر دادهٔ سری commit شده تا تاریخ گیت عمومی باشه. یک تغییر فقط وقتی «تغییر» حساب می‌شه که بازهٔ ۹۹ درصد تو دو بازهٔ ده روزهٔ پشت‌سرهم صفر رو بیرون بگذاره، اثر حداقل سه واحد باشه، و بازوی کنترل هم همون حرکت رو نشون نده. بازوی کنترل یعنی Opus 5 که هر روز با همون harness اجرا می‌شه؛ اگه هر دو مدل با هم جابه‌جا بشن، پس زیرساخت عوض شده نه مدل.

نویسنده تأکید می‌کنه این پروژه Opus 5.5 رو همون‌طور که از طریق Claude Code و اشتراک سرو می‌شه اندازه می‌گیره، نه مدل خام API، و دقیقاً همین چیزیه که بیشتر گزارش‌های nerf دربارهٔ اونه. اضافه می‌کنه که هفتهٔ انتشار هم حقیقت مطلق نیست و می‌تونه بدترین هفته باشه: استک سرو جدید، فشار ظرفیت و باگ‌های انتشار. به گفتهٔ او حادثه‌های کیفیت سال ۲۰۲۵ هم آخرش باگ زیرساخت بودن نه تنزل عمدی، پس این بنچمارک تغییر رو تو هر دو جهت می‌سنجه و پروژه هم وابسته به Anthropic نیست.

نکات کلیدی:

• پنل نهایی ۷۸ سؤالیه؛ از ۲۳۳۶ سؤال غربال‌شده فقط همین‌ها بعضی وقت‌ها درست جواب داده می‌شدن.
• حداقل اثر قابل تشخیص حدود ۷.۵ واحد دقت تو هر بازهٔ ده روزه، با حدود ۳.۶ درصد از سهمیهٔ هفتگی پلن.
• effort پایین‌تر اول تو توکن خروجی دیده می‌شه: ۶۲ درصد کاهش توکن در مقابل ۸.۳ واحد افت دقت.
• عوض کردن مدل با Opus 5 از همون خانواده قابل تشخیص نبود: منفی ۳.۸ با خطای ۶.۳ واحد.
• قاعدهٔ اعلام تغییر: دو بازهٔ ده روزهٔ متوالی با بازهٔ ۹۹ درصد بدون صفر، اثر حداقل سه واحد، و بی‌حرکتی بازوی کنترل.