‏Artificial Analysis v5 و دوراهی بنچمارک‌سازها

Nathan Lambert تو Interconnects درباره‌ی نسخه‌ی پنجم Intelligence Index از Artificial Analysis نوشته. این شاخص الان مهم‌ترین عدد مستقل برای مقایسه‌ی مدل‌های پیشروئه. AAv5 چهار بخش با وزن ۲۵٪ داره: کار دانشی (مثل AA-Briefcase)، کدنویسی (FrontierCode 2.0 و Terminal-Bench 4.0)، علم (Terminal-Bench-Science و CritPt v2) و عمومی (AA-Omniscience و HLE-Diamond).

نویسنده می‌گه بالا بردن نمره گرونه ولی راهش معلومه؛ سخت اینه که بدونی چی رو باید اندازه گرفت. هر بنچمارک باید آخرش یه عدد بده تا بشه مقایسه کرد، ولی هر روش جمع زدن نمره‌ها یه trade-off داره. با این همه پول تو صنعت AI، این عدد عملاً برنده و بازنده‌ی یه بازار تریلیون دلاری رو تعیین می‌کنه.

تو AAv5 هشت مدل بسته از بهترین مدل باز، یعنی Kimi K3.1 Pro، جلوترن و مثلاً GPT 6.1 Terra از Claude Fable 5.1 بالاتر اومده. به گفته‌ی Lambert، شاخص داره سمت مدلی می‌ره که همکار agentic همه‌کاره باشه، و این فاصله با مدل‌های باز رو بیشتر می‌کنه. به نظرش این انتخاب قابل قبوله، ولی ممکنه بعداً جاهایی که مدل‌های باز موتور اقتصادی اصلی می‌شن رو نبینه.

نویسنده معتقده ارزش مدل‌های باز هیچ‌وقت رقابت تو لبه‌ی فناوری نبوده. ارزششون تو ارزون کردن inference تو حوزه‌های پرتقاضاست، و تو اینکه شرکت‌ها هوش رو مال خودشون کنن و با داده‌ی داخلی تخصصیش کنن. پیش‌بینیش اینه که با GLM 6 یا Kimi 3.5 تو دو سه ماه آینده، مدل‌های باز دوباره جهش خوبی تو این شاخص می‌کنن.

یه تغییر دیگه، رفتن سمت بنچمارک‌های خصوصیه، یعنی سؤال‌ها و محیط‌های تست عمومی نیستن تا مدل‌ها نتونن براشون benchmaxx کنن (یعنی خودشون رو مخصوص یه تست بهینه کنن). Lambert می‌گه این کار جهتش درسته ولی یه هزینه داره: دیگه جامعه نمی‌تونه باگ‌های بنچمارک رو پیدا کنه و باید کامل به سازنده‌اش اعتماد کنی.

به نظر نویسنده، تنها راه حل اینه که شاخص‌های بیشتری با سوگیری‌های متفاوت داشته باشیم، مثل CursorBench فقط برای کدنویسی. آخرش همه‌چی به اعتماد برمی‌گرده: Artificial Analysis از خود آزمایشگاه‌ها پول می‌گیره تا نتیجه‌هاشون رو تأیید کنه. Lambert می‌گه به نهادهای غیرانتفاعی و دولتی مثل CAISI برای منصف بودن بیشتر اعتماد داره، ولی برای دقیق بودن به استارتاپ‌هایی مثل Artificial Analysis و Arena.

نکات کلیدی:

• AAv5 چهار بخش ۲۵ درصدی داره: کار دانشی، کدنویسی، علم و عمومی
• هشت مدل بسته از Kimi K3.1 Pro، بهترین مدل باز، جلوترن
• مدل‌های باز بیشترین عقب‌ماندگی رو تو بنچمارک‌های علمی مثل CritPt v2 دارن
• بنچمارک خصوصی جلوی benchmaxx رو می‌گیره ولی شفافیت رو کم می‌کنه
• Anthropic و OpenAI خیلی وقته تمرکزشون رو از این شاخص‌ها برداشتن، ولی برای آزمایشگاه‌های کوچیک‌تر حیاتیه