‏MiMo V2.6 شیائومی: مدل باز تریلیونی

شیائومی دو مدل MiMo-V2.6-Pro-RL و MiMo-V2.6-Flash-RL رو با وزن باز و لایسنس MIT روی Hugging Face گذاشته. Pro یه مدل Mixture-of-Experts هست (یعنی برای هر ورودی فقط بخشی از پارامترها فعال می‌شن) با ۱.۰۲ تریلیون پارامتر کل، ۴۲ میلیارد پارامتر فعال و پنجرهٔ متن یک میلیون توکنی، با پشتیبانی بومی از متن و تصویر و ویدیو و صدا. Flash همون معماری رو داره ولی ۳۰۹ میلیارد پارامتر کل و ۱۵ میلیارد فعال.

تو این مقاله اومده که روش آموزش چیزیه که شیائومی بهش می‌گه «You Only RL Once»: به جای یه دور یادگیری تقویتی جدا برای هر حوزه، یه دور بزرگ که کدنویسی، عامل‌های عمومی، کارهای تصویری و امنیت سایبری رو قاطی هم می‌کنه تا مهارت از یه حوزه به حوزهٔ دیگه سرریز کنه. الگوریتمش GRPO آسنکرونه با ۱۵۶۸ پرامپت تو هر قدم و ۱۶ بار نمونه‌برداری از هر کدوم. کل این دور حدود ۳.۵ میلیون دلار خرج برداشته و شیائومی آموزشش رو لایو پخش کرده.

جالب‌ترین تیکه‌ش سیستم نمره‌دهیه. یه پاداش سادهٔ قبول/رد نمی‌تونه بین یه جواب تمیز و یه جوابِ درستِ درهم‌برهم فرق بذاره، برای همین Groupwise Agentic Grading چند خروجی مدل رو تو یه دسته با هم مقایسه می‌کنه: یه بخش از روی نمونه‌های متضاد معیار می‌سازه و بخش دیگه پاداش رو به سمت جواب‌های کوتاه‌تر و تمیزتر می‌بره. بعد از RL هم یه مرحلهٔ تقطیر به اسم MOPD2 خروجی خود مدل رو با نمونه‌های مدل‌های معلم ترکیب می‌کنه.

روی بنچمارک‌ها Pro نزدیک مدل‌های بسته وایستاده ولی همه‌جا جلو نیست. تو DeepSWE v1.1 نمرهٔ ۷۱.۹ گرفته مقابل ۷۴.۰ برای Claude Opus 5 و ۷۳.۰ برای GPT-5.6 Sol. تو AutomationBench با ۵۳.۱ از هر دوشون جلو زده. تو Terminal Bench 4.0 که هنوز اشباع نشده ۳۴.۹ گرفته در برابر ۴۹.۰ و ۳۹.۹. تو امنیت هم دوگانه‌ست: CyberGym رو با ۹۴.۰ برده ولی تو ExploitBench با ۴۷.۹ خیلی عقبه.

سخت‌افزار جای اصلی دردسره. اجرای Pro با دقت کامل حدود ۸ کارت ردهٔ H100 می‌خواد، اون هم بدون حساب حافظهٔ اضافی که پنجرهٔ یک میلیون توکنی می‌بلعه. Flash با ۴ تا ۸ کارت و روی SGLang یا vLLM بالا میاد و با کوانتیزه‌سازی (یعنی کم‌کردن دقت عددی وزن‌ها برای صرفه‌جویی حافظه) رو دو تا کارت ورک‌استیشنی هم جا می‌شه. نویسنده می‌گه برای کسی که کلاستر نداره، مدل ۹ میلیاردی تقطیرشده بر پایهٔ Qwen یا سرویس‌های میزبانی مثل OpenRouter گزینهٔ واقعی‌تره.

نکات کلیدی:

• Pro: ۱.۰۲ تریلیون پارامتر کل، ۴۲ میلیارد فعال، پنجرهٔ متن ۱ میلیون توکنی
• Flash: ۳۰۹ میلیارد پارامتر کل و ۱۵ میلیارد فعال، اجرا با ۴ تا ۸ کارت گرافیک
• هزینهٔ دور یادگیری تقویتی حدود ۳.۵ میلیون دلار، با پخش زندهٔ روند آموزش
• Terminal Bench 4.0: ۳۴.۹ برای Pro مقابل ۴۹.۰ برای Claude Opus 5 و ۳۹.۹ برای GPT-5.6 Sol
• وزن‌ها و کد آموزش، هر دو با لایسنس MIT منتشر شدن