Raon-1 Nano: تبدیل مدل MoE به مدل dense کوچیک
خلاصهٔ کاملتر
Krafton، شرکت کرهای سازندهی PUBG، یه مدل MoE (یعنی mixture-of-experts، مدلی که برای هر توکن فقط چند تا از زیرشبکههاش به اسم expert فعال میشن) با ۲۹ میلیارد پارامتر به اسم Raon-1 Mini ساخته. بعد اونو به یه مدل dense (یعنی معمولی، که همهی پارامترهاش همیشه فعالن) با ۱.۵ میلیارد پارامتر به اسم Raon-1 Nano تبدیل کرده. روشش تو یه مقالهی NeurIPS اومده که ارائهی شفاهی هم گرفته.
چرا اصلاً MoE رو dense کنیم؟ Raon-1 Mini از ۲۹ میلیارد پارامتر فقط حدود ۴.۳ میلیارد رو برای هر توکن فعال میکنه: ۱۲۸ expert داره، ۶ تا برای هر توکن انتخاب میشن بهعلاوهی یه expert مشترک. این برای سرور ابری عالیه، ولی روی GPU بازیکن که همزمان داره بازی رندر میکنه، لود کردن اینهمه وزن سنگینه. مدل dense سادهتر deploy و کوانتایز میشه.
بیشتر کارهای قبلی distillation (یعنی آموزش مدل کوچیکتر برای تقلید خروجی مدل بزرگتر) تو یه نوع معماری میموندن، مثل dense به dense یا MoE به MoE کوچیکتر. روش Krafton چهار مرحله داره: اول به هر expert امتیاز میده، بعد expertهای مشابه رو گروهبندی میکنه، هر گروه رو تو یه لایهی feed-forward معمولی ادغام میکنه، و آخر مدل جدید رو با خروجیهای مدل اصلی آموزش میده.
به گفتهی مقاله، Krafton حدود ۳۵۰ پیکربندی مختلف رو تست کرده و فهمیده مهمترین بخش، روش امتیازدهی به expertهاست. روش diversity-aware scoring اونا به جای انتخاب بهترین expertها بهتنهایی، دنبال حفظ تنوع تواناییه. این روش بهطور میانگین ۶.۳ امتیاز از روش سادهی pruning بهتر بود و آموزش رو ۱.۶ برابر سریعتر کرد. بعد از تبدیل هم حدود ۳ تریلیون توکن آموزش اضافه، fine-tuning، on-policy distillation و یادگیری تقویتی انجام شده.
نویسنده یه نکتهی جالب مطرح میکنه: یه نظریه میگه دانش حقایق بیشتر تو لایههای feed-forward ذخیره میشه که تو MoE همون expertها هستن. پس با ادغام و حذف expertها احتمالاً دانش عمومی بیشتر از توان استدلال از دست میره. البته خود مقاله اینو تست نکرده. Raon-1 Mini تو MMLU Pro با ۷۶.۵ آخر شده (Qwen 3 حدود ۸۵.۹)، ولی تو پیروی از دستور و بنچمارکی که به مدل برای اعتراف به ندونستن امتیاز میده، اوله.
کاربرد احتمالی، NPCها و همتیمیهای هوشمند روی دستگاه بازیکنه، مثل همتیمی هوش مصنوعی PUBG. این مدلها باید سریع باشن، وضعیت بازی رو دنبال کنن و از دستور پیروی کنن، نه اینکه تاریخ جهان بلد باشن. مدیر ارشد هوش مصنوعی Krafton گفته Nano پایهی بهتری برای اپلیکیشنهای edge شرکته، ولی تأیید نکرده که دقیقاً پشت کدوم قابلیته. هر دو مدل از صفر آموزش دیدن و با لایسنس Apache 2.0 منتشر شدن.
نکات کلیدی:
- Raon-1 Mini یه مدل MoE با ۲۹ میلیارد پارامتره که حدود ۴.۳ میلیاردش برای هر توکن فعال میشه.
- Raon-1 Nano یه مدل dense با ۱.۵ میلیارد پارامتره که از Mini ساخته شده.
- روش diversity-aware scoring بهطور میانگین ۶.۳ امتیاز از pruning ساده بهتر بود و آموزش رو ۱.۶ برابر سریعتر کرد.
- Raon-1 Mini تو MMLU Pro امتیاز ۷۶.۵ گرفت ولی تو پیروی از دستور و بنچمارک omniscience اول شد.
- هر دو مدل از صفر توسط Krafton آموزش دیدن و با لایسنس Apache 2.0 منتشر شدن.
- مقالهی این روش تو NeurIPS ارائهی شفاهی (oral) گرفته.




