‏MiMo-V2.6-Flash-RL شیائومی: مدل غول‌پیکر با خرج سبک

MiMo-V2.6-Flash-RL چک‌پوینت سبک و سریع خانوادهٔ MiMo-V2.6 شیائومیه. یه مدل sparse MoE ـه، یعنی مدلی که برای هر توکن فقط بخشی از «متخصص‌ها»ش روشن می‌شه: ۳۰۹ میلیارد پارامتر کل، ولی فقط ۱۵ میلیارد پارامتر فعال در هر پاس. نتیجه اینه که موقع اجرا از نظر محاسبات مثل یه مدل متوسط رفتار می‌کنه، هرچند کل وزن‌ها باید تو حافظهٔ GPU جا بشن چون مسیریابی MoE می‌تونه هر کدوم از ۲۵۶ متخصص رو صدا بزنه.

مدل به‌صورت بومی متن، تصویر، ویدیو و صدا رو می‌گیره و تا یک میلیون توکن کانتکست پشتیبانی می‌کنه. وزن‌هاش FP8 ـه تا حافظهٔ کمتری بگیره. معماریش از attention ترکیبی استفاده می‌کنه (لایه‌های پنجرهٔ لغزان کنار لایه‌های global) و یه دیکودر speculative پنج‌لایه با الگوریتم EAGLE داره. speculative decoding یعنی مدل چند توکن آینده رو پیش‌نویس می‌زنه و با هم بررسی‌شون می‌کنه، پس تولید سریع‌تر می‌شه بدون اینکه کیفیت خروجی عوض بشه.

هر دو چک‌پوینت Pro-RL و Flash-RL از یه خط آموزشی میان که شیائومی بهش می‌گه «You Only RL Once»: به‌جای مدل جدا برای کد و ابزار و ویژن و امنیت، همه رو تو یه ران یادگیری تقویتی با GRPO قاطی می‌کنه، به این امید که مهارت‌ها بین حوزه‌ها منتقل بشن. Flash-RL تو بیشتر بنچمارک‌ها کمی عقب‌تره (۶۷.۹ در برابر ۷۱.۹ تو DeepSWE v1.1)، ولی تو CyberGym با ۹۵.۱ از Pro-RL با ۹۴.۰ جلو می‌زنه و تو AutomationBench هم ۵۲.۳ گرفته.

اجراش کار یه کارت گرافیک خونگی نیست. دستور مرجع SGLang با --tp 8 --dp 2 بالا میاد، یعنی هشت‌راهه tensor parallel کنار دوراهه data parallel. برای vLLM شیائومی هشدار می‌ده نسخهٔ پایدار ممکنه عقب باشه و ایمیج داکر vllm/vllm-openai:mimov25-cu129 رو پیشنهاد می‌کنه. دستور سبک‌ترش این شکلیه:

vllm serve XiaomiMiMo/MiMo-V2.6-Flash-RL \
  --tensor-parallel-size 4 \
  --trust-remote-code \
  --gpu-memory-utilization 0.95 \
  --reasoning-parser mimo \
  --tool-call-parser mimo

دو فلگ آخر به سرور می‌گن خروجی استدلال و فراخوانی ابزار مدل رو چطور پارس کنه، که برای پایپ‌لاین‌های agentic لازمه. اگه سخت‌افزارش رو نداری، شیائومی همین مدل رو روی AI Studio، MiMo Code، MiMo Desktop، پلتفرم API خودش و OpenRouter هم سرو می‌کنه.

نکات کلیدی:

• ۳۰۹ میلیارد پارامتر کل، ۱۵ میلیارد فعال برای هر توکن، وزن‌های FP8
• کانتکست تا ۱ میلیون توکن، ورودی متن و تصویر و ویدیو و صدا
• دستور مرجع SGLang: هشت‌راهه tensor parallel و دوراهه data parallel
• CyberGym: ۹۵.۱ برای Flash-RL در برابر ۹۴.۰ برای Pro-RL
• پارامترهای پیشنهادی نمونه‌برداری: temperature برابر ۱.۰ و top_p برابر ۰.۹۵
• انکودر تصویر ۶۸۱ میلیون پارامتری، با توکنایزر صوتی جدا