‏Kimi K3.1 Pro: مدل اوپن‌ویت 2.8 تریلیون پارامتری Moonshot

طبق کارت مدلی که Moonshot AI روی Hugging Face گذاشته، Kimi K3.1 Pro یه مدل open-weight هست (یعنی وزن‌هاش برای دانلود و اجرای محلی منتشر شده) که متن و تصویر رو با هم می‌فهمه. این اولین مدل سری K3.1 هست و از روی Kimi K3 با reinforcement learning گسترده (یعنی آموزش با پاداش دادن به جواب‌های خوب) روی صدها حوزه‌ی مختلف آموزش دیده. کانتکستش 1 میلیون توکنه و به گفته‌ی تیم سازنده، تو کدنویسی، ساخت مدل سه‌بعدی، تحقیقات مالی و دقت اطلاعات پیشرفت قابل توجهی داشته.

معماریش Mixture-of-Experts یا MoE هست، یعنی مدل از کلی زیرشبکه‌ی تخصصی به اسم expert ساخته شده و برای هر توکن فقط چندتاشون کار می‌کنن. کل پارامترها 2.8 تریلیونه، ولی برای هر توکن فقط 104 میلیارد پارامتر فعال می‌شه؛ از 896 تا expert، برای هر توکن 16 تا انتخاب می‌شن. یعنی مدل خیلی بزرگه، ولی هزینه‌ی پردازش هر توکنش خیلی کمتر از یه مدل معمولی هم‌اندازه‌ست.

تغییر اصلی نسبت به Kimi K3 تو لایه‌های attention هست. لایه‌های full-attention قبلی (Gated MLA) با Gated DeepSeek Sparse Attention یا Gated DSA عوض شدن. تو sparse attention هر توکن به جای نگاه کردن به همه‌ی توکن‌های قبلی، فقط به یه بخش انتخاب‌شده نگاه می‌کنه؛ برای همین کار با متن‌های خیلی بلند ارزون‌تر می‌شه. از 93 لایه‌ی مدل، 69 تا KDA و 24 تا Gated DSA هستن.

وزن‌ها هم با quantization-aware training آموزش دیدن، یعنی مدل از همون اول برای اجرا با دقت عددی پایین‌تر آماده شده: وزن‌ها با MXFP4 و activationها با MXFP8. نتیجه‌ش اینه که حافظه‌ی کمتری می‌خواد و افت کیفیتش موقع این فشرده‌سازی کمتره. انکودر تصویرش هم MoonViT-V2 با 401 میلیون پارامتره.

تو Terminal-Bench 4.0 امتیاز مدل 65.7 هست که از Claude Fable 5.1 و GPT-6 Astra بالاتره و به 66.4 مدل Claude Opus 5.5 نزدیکه. تو BrowseComp با 92.1 و SWE Marathon با 51.7 از همه جلوتره. ولی تو Program Bench (31.5 در برابر 65.0 برای Opus 5.5) و بنچمارک‌های امنیتی مثل ExploitBench عقب‌تره. بیشتر این عددها رو خود Moonshot و اغلب با هارنس Claude Code گرفته و چندتا از بنچمارک‌ها داخلی خودشونه.

API مدل با اسم kimi-k3.1-pro روی پلتفرم Kimi در دسترسه و با APIهای OpenAI و Anthropic سازگاره؛ برای اجرای محلی هم vLLM، SGLang و TokenSpeed پیشنهاد شدن. میزان فکر کردن مدل با فیلد reasoning_effort تنظیم می‌شه که low، high و max رو می‌گیره و پیش‌فرضش max هست. نکته‌ی مهم اینه که تو مکالمه‌های چندمرحله‌ای باید کل پیام assistant، همراه reasoning_content و tool_calls، دست‌نخورده به messages برگرده. تو مثال کارت مدل، مدل باید به عددهایی اشاره کنه که فقط تو استدلال قبلیش بودن:

{
    "role": "assistant",
    "reasoning_content": "I'll start by listing five numbers: 473, 921, 235, 215, 222, and I'll tell you the first three.",
    "content": "473, 921, 235"
},

نکات کلیدی:

• کل پارامترها 2.8T و پارامترهای فعال برای هر توکن 104B؛ از 896 expert، 16 تا برای هر توکن انتخاب می‌شن.
• کانتکست 1,048,576 توکن و ورودی متن و تصویر.
• لایه‌های Gated MLA مدل K3 با Gated DSA عوض شدن تا کانتکست بلند بهینه‌تر بشه.
• وزن‌ها MXFP4 و activationها MXFP8، با quantization-aware training.
• Terminal-Bench 4.0 برابر 65.7، BrowseComp برابر 92.1 و GPQA-Diamond برابر 94.2.
• فیلد reasoning_effort با مقدارهای low، high و max؛ پیش‌فرض max.
• تو مکالمه‌های چندمرحله‌ای reasoning_content و tool_calls باید دست‌نخورده برگردن.