‏می‌مو فلش-RL؛ نسخهٔ ارزون‌تر شیائومی

شیائومی مدل MiMo-V2.6-Flash-RL رو منتشر کرده؛ نسخهٔ کم‌هزینهٔ خانوادهٔ می‌مو ۲.۶ که کنار برادر بزرگ‌ترش Pro-RL می‌شینه. این یه مدل sparse MoE هست (یعنی مدل از کلی «متخصص» ساخته شده و سر هر توکن فقط چندتاشون روشن می‌شن)، پس با اینکه ۳۰۹ میلیارد پارامتر داره، هر توکن فقط ۱۵ میلیارد پارامتر رو درگیر می‌کنه. سر هر بار پردازش، ۸ متخصص از بین ۲۵۶ متخصص فعال می‌شن. متن، تصویر، ویدیو و صدا رو هم به‌صورت بومی تو همون یه مدل می‌فهمه.

معماریش ۴۸ لایهٔ ترنسفورمره: ۳۹ لایه sliding window attention (یعنی هر توکن فقط به پنجرهٔ محدودی از توکن‌های اطرافش نگاه می‌کنه) و ۹ لایه attention کامل. سمت تصویر یه ViT جدا با ۶۸۱ میلیون پارامتر داره و سمت صدا یه AudioTokenizer ۳۰۸ میلیونی به‌علاوهٔ یه انکودر ۱۲۷ میلیونی که فریم‌های صوتی رو از ۲۵ هرتز به ۶.۲۵ هرتز فشرده می‌کنه.

برای سرعت هم speculative decoding داره: یه مدل کوچیک پیش‌بین پنج‌لایه (که شیائومی بهش MTP می‌گه) تا ۷ توکن بعدی رو از قبل حدس می‌زنه و مدل اصلی همه رو با هم بررسی می‌کنه. همین باعث می‌شه مدلی با ۳۰۹ میلیارد پارامتر با سرعتی نزدیک به یه مدل متراکم کوچیک جواب بده. پنجرهٔ ورودیش هم تا یک میلیون توکن می‌ره که به گفتهٔ شیائومی برای کدبیس‌های بزرگ، ردپای طولانی استفاده از ابزار و اجراهای چندنشستی عامل‌هاست، نه چت تک‌سؤالی.

ادعای اصلی گزارش فنی شیائومی «You Only RL Once» هست: جای اینکه برای کدنویسی، کارهای عاملی، بینایی و امنیت جدا جدا یادگیری تقویتی بزنن، همه رو تو یه ران مخلوط آموزش دادن. روش RL شون GRPO آسنکرونه. چون پاداش صفر و یکی نمی‌تونه جواب متوسط رو از جواب خوب جدا کنه، دو سازوکار GRS و GAR اضافه کردن که rollout های قبول‌شده (یعنی تلاش‌های مختلف مدل برای حل یه تسک) رو با هم مقایسه و رتبه‌بندی می‌کنن. تو گزارش اومده این حلقه مدل رو به راه‌حل‌های کوتاه‌تر و توکن کمتر می‌بره.

تو بنچمارک‌های منتشرشده، Flash-RL روی DeepSWE v1.1 عدد ۶۷.۹ می‌گیره مقابل ۷۱.۹ برای Pro، و روی MiMo Code Bench ۶۱.۲ مقابل ۶۳.۲. ولی تو تست‌های سخت امنیتی فاصله زیاد می‌شه: ExploitBench از ۴۷.۹ به ۲۵.۳ و SEC Bench Pro از ۶۶.۳ به ۴۷.۵ می‌افته. تو مقاله اومده برای تیم‌هایی که حجم بالای عامل کدنویسی یا اتوماسیون ترمینال دارن Flash-RL انتخاب منطقی‌ایه، ولی برای کار امنیتی جدی نه.

نکات کلیدی:

• ۳۰۹ میلیارد پارامتر کل، فقط ۱۵ میلیارد فعال سر هر توکن؛ ۸ متخصص از ۲۵۶.
• پنجرهٔ ورودی تا یک میلیون توکن، با پشتیبانی بومی از متن، تصویر، ویدیو و صدا.
• ExploitBench: ۲۵.۳ برای Flash-RL مقابل ۴۷.۹ برای Pro-RL؛ SEC Bench Pro: ۴۷.۵ مقابل ۶۶.۳.
• وزن‌ها با مجوز MIT روی Hugging Face و ModelScope، در فرمت استاندارد و fp8.
• سرو با SGLang یا vLLM؛ تنظیم پیشنهادی نمونه‌برداری temperature ۱.۰ و top_p ۰.۹۵.