‏Kimi K3.1 Pro: مدل باز ۲.۸ تریلیونی Moonshot

Kimi K3.1 Pro یه مدل open-weight و چندوجهی از Moonshot AI هست که با معماری Mixture-of-Experts یا MoE ساخته شده (یعنی مدل از کلی زیرشبکهٔ متخصص تشکیل شده و برای هر توکن فقط چندتاشون فعال می‌شن). این اولین مدل سری K3.1 هست که از Kimi K3 با reinforcement learning گسترده روی صدها حوزه آموزش دیده. context window اون ۱,۰۴۸,۵۷۶ توکنه و Moonshot اونو یه مدل agentic معرفی می‌کنه، یعنی برای کدنویسی، کار با ابزار و کارهای چندمرحله‌ای.

عدد ۲.۸ تریلیون پارامتر گول‌زننده‌ست. هر توکن از ۱۶ متخصص از بین ۸۹۶ تا، به‌علاوهٔ ۲ متخصص مشترک که همیشه فعالن، رد می‌شه و در مجموع ۱۰۴ میلیارد پارامتر کار می‌کنن. مدل ۹۳ لایه داره که فقط یکیش dense معمولیه. یعنی هزینهٔ محاسبه برای هر توکن به یه مدل ۱۰۰ میلیاردی نزدیکه، ولی برای نگه داشتن کل متخصص‌ها حافظهٔ یه مدل ۲.۸ تریلیونی لازمه.

مهم‌ترین تغییر نسبت به K3 توی attention هست. از ۹۳ لایه، ۶۹ تا KDA (Kernelized Delta Attention) و ۲۴ تا Gated DSA هستن و جای لایه‌های full-attention یعنی Gated MLA رو گرفتن. توی full attention هزینه با طول متن به‌صورت توان دو بالا می‌ره. DSA هر توکن رو فقط به یه زیرمجموعهٔ انتخابی (top-K برابر ۲۰۴۸) از توکن‌های قبلی وصل می‌کنه. نتیجه اینه که context یک میلیونی واقعاً قابل استفاده می‌شه، نه فقط روی کاغذ.

مدل به‌صورت native چندوجهیه، یعنی متن و تصویر از یه معماری واحد رد می‌شن و یه مدل بینایی جدا بهش چسبونده نشده. بخش بینایی یه encoder به اسم MoonViT-V2 با ۴۰۱ میلیون پارامتره. پس خوندن نمودار، اسکرین‌شات یا طرح‌های CAD توی همون context متن و کد انجام می‌شه. ورودی صوت و ویدیو پشتیبانی نمی‌شه.

توی model card، این مدل با Claude Fable 5.1، GPT-6 Astra، Claude Opus 5.5، DeepSeek-V4.1-Flash و GLM-5.3 مقایسه شده. روی Terminal-Bench 4.0 امتیاز ۶۵.۷ گرفته، کمی پشت Claude Opus 5.5 با ۶۶.۴. روی SWE Marathon v1.1 با ۵۱.۷ اوله و روی DeepSWE v1.1 هم با ۷۵.۵ کمی از Claude Opus 5.5 (۷۴.۲) جلوتره. ولی روی Terminal-Bench-Science با ۳۸.۱ خیلی پشت GPT-6 Astra (۶۸.۱) هست و روی Program Bench با ۳۱.۵ در برابر ۶۵.۰ فاصلهٔ زیادی با Claude Opus 5.5 داره.

نویسنده معتقده اگه کارتون agentهای کدنویسی طولانی یا کار روی کل یه repository هست، این مدل گزینهٔ خوبیه و باز بودنش برای self-host و fine-tune یه امتیازه. مدل با quantization-aware training برای وزن‌های MXFP4 و activationهای MXFP8 آموزش دیده، یعنی برای اجرا با دقت عددی پایین‌تر آماده‌ست و حجمش کمتر می‌شه. ولی باز هم اجرای یه مدل ۲.۸ تریلیونی که توی ۹۶ فایل safetensors پخش شده، زیرساخت چند GPU جدی می‌خواد. برای بیشتر تیم‌ها راه واقعی همون API خود Moonshot هست.

نکات کلیدی:

• ۲.۸ تریلیون پارامتر کل و ۱۰۴ میلیارد پارامتر فعال برای هر توکن.
• مسیریابی هر توکن به ۱۶ متخصص از ۸۹۶ تا، به‌علاوهٔ ۲ متخصص مشترک.
• ۶۹ لایهٔ KDA و ۲۴ لایهٔ Gated DSA به‌جای Gated MLA مدل K3.
• context window برابر ۱,۰۴۸,۵۷۶ توکن.
• encoder تصویر MoonViT-V2 با ۴۰۱ میلیون پارامتر؛ بدون صوت و ویدیو.
• اول روی SWE Marathon v1.1 (۵۱.۷) ولی ضعیف روی Program Bench (۳۱.۵).
• وزن‌ها روی Hugging Face با لایسنس مخصوص Kimi منتشر شدن.