‏MiMo-V2.6-Pro-RL؛ مدل تریلیونی شیائومی با وزن باز

تو این مقاله اومده که تیم MiMo شیائومی مدل MiMo-V2.6-Pro-RL رو با وزن‌های باز و لایسنس MIT منتشر کرده. این یه مدل mixture-of-experts هست (یعنی مدل از کلی «متخصص» کوچیک ساخته شده و برای هر توکن فقط چندتاشون روشن می‌شن) با ۱.۰۲ تریلیون پارامتر کل، ولی برای هر توکن فقط ۴۲ میلیارد پارامتر فعال می‌شه. نتیجه اینه که هزینهٔ اجراش به یه مدل ۴۲ میلیاردی نزدیک‌تره تا به یه مدل تریلیونی.

ساختارش ۷۰ لایهٔ ترنسفورمره: ۶۰ لایه sliding window attention (یعنی هر توکن فقط به یه پنجرهٔ محدود از توکن‌های قبلی نگاه می‌کنه) و ۱۰ لایه attention کامل. از ۳۸۴ اکسپرت مسیریابی‌شده، ۸ تاشون برای هر توکن روشن می‌شن. سه انکودر هم بهش وصله: یه ViT با ۶۸۱ میلیون پارامتر برای تصویر و ویدیو، و حدود ۴۳۵ میلیون پارامتر برای صدا. یه دیکودر speculative پنج‌لایه هم هفت توکن جلوتر رو حدس می‌زنه تا تولید سریع‌تر شه.

نکتهٔ اصلی مقاله روش آموزششه. شیائومی بهش می‌گه You Only RL Once: جای اینکه برای هر مهارت یه ران RL جدا بزنن، کدنویسی و ایجنت عمومی و بینایی و امنیت رو تو یه ران مخلوط کردن و همه رو تو یه بچ ریختن. هدفشون اینه که مهارتی که تو یه دامنه یاد گرفته تو دامنهٔ دیگه هم جواب بده، و حتی تو harness‌هایی که موقع آموزش ندیده کار کنه. الگوریتمش GRPO هست و هر استپ ۱٬۵۶۸ پرامپت ضربدر ۱۶ رول‌اوت می‌گیره.

پاداش‌دهیش هم جالبه. سیگنال سادهٔ قبول/رد نمی‌تونه یه جواب تمیز رو از یه جواب شلخته که شانسی پاس شده جدا کنه، پس شیائومی از groupwise agentic grading استفاده کرده: یه داور خودکار رول‌اوت‌ها رو با هم مقایسه می‌کنه، نه تک‌تک و جدا. یه بخش آفلاین معیارهای امتیازدهی رو از مقایسهٔ رول‌اوت‌ها می‌سازه و یه بخش آنلاین سیگنال بیشتری به مسیرهای بهتر می‌ده. همین باعث می‌شه مدل کم‌کم راه‌حل‌های کوتاه‌تر و کم‌توکن‌تر پیدا کنه.

تو جدول بنچمارک خود شیائومی، MiMo-V2.6-Pro تو AutomationBench با ۵۳.۱ از Claude Opus 5 با ۵۰.۳ و GPT-5.6 با ۴۵.۸ جلو می‌زنه و تو Terminal Bench 2.1 با ۸۹.۹ فقط یه خرده از هر دوشون بالاتره. ولی تو ProgramBench با ۲۶.۵ مقابل ۳۷.۰ و تو ExploitBench با ۴۷.۹ مقابل ۷۰.۰ و ۷۸.۵ واضح عقب می‌مونه. اجراش هم شوخی نیست: نمونهٔ خود شیائومی روی SGLang از tensor parallelism ۱۶ روی دو نود استفاده می‌کنه.

نکات کلیدی:

• ۱.۰۲ تریلیون پارامتر کل و ۴۲ میلیارد فعال برای هر توکن، چون از ۳۸۴ اکسپرت فقط ۸ تا روشن می‌شن
• کانتکست یک میلیون توکن، با پشتیبانی بومی از متن و تصویر و ویدیو و صدا
• لایسنس MIT، وزن‌ها روی Hugging Face و ModelScope
• AutomationBench ۵۳.۱ در برابر ۵۰.۳ برای Claude Opus 5، ولی ExploitBench ۴۷.۹ در برابر ۷۰.۰
• برای اجرا به ۸ تا ۱۶ GPU نیاز داره؛ نسخهٔ سبک‌ترش MiMo-V2.6-Flash-RL هست