‏بنچمارک‌های K2-Horizon-MoVA؛ شکست یه مدل ۵۵۰ میلیاردی

جدول بنچمارک مدل‌کارت K2-Horizon-MoVA-36B-A4B رو مقابل شش مدل متن‌باز دیگه گذاشته: Nemotron 3 Ultra، Nemotron 3 Super، G9v3-39A5B، Qwen3.6-35B-A3B، Muse Glimmer-30B و Gemma 4 31B-it. نکته اصلی جدول اندازه نیست، فاصله پارامتر فعاله؛ یعنی اون بخشی از شبکه که واقعاً برای هر توکن اجرا می‌شه و هزینه و سرعت رو تعیین می‌کنه. K2-Horizon فقط ۴ میلیارد پارامتر فعال داره.

سنگین‌ترین رقیب Nemotron 3 Ultra هست با ۵۵۰ میلیارد پارامتر کل و ۵۵ میلیارد فعال، یعنی حدود ۱۵ برابر. با این حال روی tau3-Banking که تست استفاده ایجنتی از ابزاره، K2-Horizon نمره ۲۶.۸ گرفته در برابر ۱۴.۲؛ تقریباً دو برابر. روی Terminal-Bench 2.1 هم که کار با ترمینال رو می‌سنجه، ۵۸.۶ در برابر ۵۳.۹ جلو زده و بالاترین عدد کل جدوله.

نزدیک‌ترین هم‌اندازه‌اش Qwen3.6-35B-A3B هست با ۳۵ میلیارد کل و ۳ میلیارد فعال. اینجا فاصله‌ها بازتره: ۲۶.۸ در برابر ۹.۳ در tau3-Banking و ۵۸.۶ در برابر ۴۴.۹ در Terminal-Bench 2.1. تنها جایی که Qwen جلو می‌زنه GPQA Diamond هست با ۸۴.۱ در برابر ۸۰.۸. چون این دو مدل تقریباً هم‌اندازه‌ان، این مقایسه منصفانه‌ترین ردیف جدوله.

ولی مقاله تصویر یک‌دست نمی‌ده و سه‌تا ضعف رو مشخص نشون می‌ده. تو SciCode که تست برنامه‌نویسی علمیه، نمره ۳۸.۹ پشت Nemotron 3 Ultra با ۳۹.۹، Muse Glimmer-30B با ۴۳.۶ و Gemma 4 31B-it با ۴۳.۴ می‌مونه. تو Humanity's Last Exam بدون ابزار ۲۵.۲ در برابر ۲۸.۴ عقبه و تو GPQA Diamond هم ۸۰.۸ در برابر ۸۶.۷. الگو روشنه: مدل برای کارهای ایجنتی کوک شده، نه برای بازیابی دانش علمی.

نویسنده نتیجه می‌گیره که «بزرگ‌ترین مدل» و «بهترین مدل برای این کار» دو محور جدا هستن. اگه بار کاری‌ت ایجنت ابزارمحور یا کدنویسی تو ترمینال باشه، این مدل تو جدول جلوتره و با هزینه محاسباتی یه مدل ۴ میلیاردی کار می‌کنه. اگه کارت سؤال علمی سنگین باشه، یه مدل dense مثل Gemma 4 31B-it یا یه MoE خیلی بزرگ‌تر هنوز بهتر جواب می‌ده.

نکات کلیدی:

• ۳۶ میلیارد پارامتر کل و ۴ میلیارد فعال، مقابل ۵۵۰ و ۵۵ میلیارد Nemotron 3 Ultra
• tau3-Banking: نمره ۲۶.۸ در برابر ۱۴.۲ برای Nemotron 3 Ultra
• Terminal-Bench 2.1: نمره ۵۸.۶، بالاترین عدد جدول
• GPQA Diamond: نمره ۸۰.۸، پشت ۸۶.۷ و ۸۴.۱
• SciCode: نمره ۳۸.۹، پشت هر سه مدل شاخص جدول
• پنجره متن بومی ۵۱۲ هزار توکن از مرحله midtraining