‏Kimi K3.1 Pro: بنچمارک‌های Moonshot در برابر تست‌های مستقل

Kimi K3.1 Pro مدل جدید شرکت چینی Moonshot AI هست که فقط سه ماه بعد از Kimi K3 اومده. مدل خیلی بزرگیه: حدود ۲.۸ تریلیون پارامتر با معماری mixture of experts، یعنی برای هر توکن فقط حدود ۱۰۴ میلیارد پارامترش فعال می‌شه. نویسنده‌ی مقاله اینو به بیمارستانی تشبیه می‌کنه که هر بیمار فقط چندتا متخصص مربوط به خودش رو می‌بینه، نه کل کادر رو. پنجره‌ی context یک میلیون توکنی داره، تصویر هم می‌فهمه و یه نسخه‌ی High Speed هم داره که دو تا سه برابر سریع‌تره و حدوداً دو برابر گرون‌تر.

طبق عددهای خود Moonshot، این مدل تو Humanity’s Last Exam (با ابزار) به ۷۰ درصد رسیده، در برابر ۶۷.۷ درصد Opus 5.5 و ۵۷.۲ درصد GPT-6 Astra. تو SWE Marathon (یه بنچمارک مهندسی نرم‌افزار با کارهای طولانی) ۵۱.۷ درصد گرفته و تو Terminal Bench از ۱۳ درصد K3 به ۶۵.۷ درصد رسیده، نزدیک ۶۶.۴ درصد Opus. Moonshot از ۶۵ درصد کاهش hallucination نسبت به K3 هم حرف می‌زنه. مشکل اینجاست که تقریباً همه‌ی این تست‌ها رو خود شرکت اجرا کرده و بعضی‌هاش رو خودش طراحی کرده.

برای همین بحث bench-maxed بودن پیش اومده، یعنی مدلی که رو تست‌های معروف خوب امتیاز می‌گیره ولی تو کار واقعی کم میاره. Artificial Analysis بهش امتیاز ۵۵ داده (۱۱ امتیاز بیشتر از K3) و رتبه‌ی چهارم، پشت Opus 5.5 با ۵۸. لیدربورد وب Arena که با رأی کور کاربرها کار می‌کنه، اونو هشتم کرده که نسبت به رتبه‌ی ۱۷ نسخه‌ی قبلی پیشرفت بزرگیه. تو KingBench (شش پروژه‌ی واقعی کدنویسی) ۵.۳۷ از ۱۰ گرفته و از یازده مدل ششم شده، حتی پشت Claude Haiku 5.5. جمع‌بندی مقاله: یه کم bench-maxed هست، ولی جعلی نیست.

تو KingBench یه الگوی ثابت دیده شده: مدل پایه‌ی محکمی می‌سازه ولی کل کار رو تموم نمی‌کنه. ازش شبیه‌ساز Game Boy، DS و 3DS با Rust خواستن و فقط Game Boy رو ساخته، ولی صادقانه گفته بقیه رو نساخته و هسته‌ی Game Boy همه‌ی تست‌های کلاسیک CPU رو پاس کرده. «جایگزین Docker» هم ایمیج‌ها رو درست pull و بررسی می‌کرده (حتی ۲۰ ایمیج مخرب رو بلاک کرده)، ولی build، exec و شبکه نداشته. بهترین نتیجه‌ش یه اپ تنظیم کیبورد بوده که پروتکل VIA/QMK رو درست پیاده کرده.

قیمت API هر میلیون توکن ۲ دلار ورودی و ۱۰ دلار خروجیه، در برابر حدود ۴ و ۲۰ دلار Opus 5.5 و ۱۰ و ۵۰ دلار گزارش‌شده برای GPT-6 Astra. ولی به گفته‌ی نویسنده، توکن ارزون یعنی صورت‌حساب ارزون نیست. این مدل موقع کار به‌عنوان agent خیلی «پرحرف»ـه و تو هر مرحله حجم زیادی از context کش‌شده رو دوباره می‌خونه. اجرای شش تسک با حدود ۱۱۲ میلیون توکن حدود ۳۲ دلار خرج داشته. Haiku 5.5 با حدود یک‌چهارم این هزینه امتیاز کمی بالاتر گرفته و DeepSeek V4.1 Flash با کمتر از ۲ دلار نزدیکش بوده.

نویسنده معتقده این مدل با اشتراک ثابت Kimi یا بعد از انتشار وزن‌ها و self-host کردن جذاب‌تر می‌شه. Moonshot گفته وزن‌های کامل تا ۴ نوامبر با لایسنس خودش (شبیه MIT با شرط‌های اضافه برای شرکت‌های خیلی بزرگ) منتشر می‌شه. داده‌های مربوط به امنیت سایبری از نسخه‌ی باز حذف شدن، پس ممکنه دقیقاً با نسخه‌ی API یکی نباشه.

نکات کلیدی:

• حدود ۲.۸ تریلیون پارامتر کل و ۱۰۴ میلیارد پارامتر فعال برای هر توکن، با context یک میلیون توکنی
• Artificial Analysis: امتیاز ۵۵ و رتبه‌ی چهارم؛ Arena وب: رتبه‌ی هشتم (K3 هفدهم بود)
• KingBench: امتیاز ۵.۳۷ از ۱۰ و رتبه‌ی ششم از یازده مدل
• قیمت هر میلیون توکن ۲ دلار ورودی و ۱۰ دلار خروجی، ولی اجرای KingBench حدود ۳۲ دلار شد
• وزن‌های باز تا ۴ نوامبر منتشر می‌شه، بدون داده‌های امنیت سایبری