Raon-1 Nano: مدل زبانی ۱.۵ میلیاردی سازندهٔ PUBG برای NPCها
خلاصهٔ کاملتر
Raon-1 Nano یه مدل زبانی open-weight با ۱.۵ میلیارد پارامتره که Krafton، استودیوی کرهای سازندهٔ PUBG، با لایسنس Apache 2.0 روی Hugging Face منتشر کرده. یعنی استفادهٔ تجاری و تغییر دادنش آزاده. Krafton اولش دسترسی رو gated کرده بود ولی فرداش بعد از بازخورد جامعه برش داشت. هدف اصلی مدل اینه که NPCها و همتیمیهای هوش مصنوعی رو روی GPU خود بازیکن اجرا کنه، نه تو کلاد.
دلیلش سادهست: اجرای یه LLM ابری برای هر گفتگوی NPC تو یه بازی آنلاین از نظر هزینه جور در نمیاد. پس مدل باید اونقدر کوچیک باشه که VRAM رو با خود بازی شریک بشه و سریع جواب بده. Krafton قبلاً Smart Zoy (یعنی NPCهای بازی inZOI) و PUBG Ally (یه همتیمی AI که دستورهای بازیکن رو اجرا میکنه) رو منتشر کرده. به گفتهٔ مقاله، Krafton رسماً تأیید نکرده که PUBG Ally روی Nano اجرا میشه، ولی اهدافشون خیلی به هم نزدیکه.
نقطهٔ شروع، مدل Raon-1 Mini بوده: یه مدل mixture-of-experts یا MoE (یعنی مدلی که برای هر توکن فقط چند تا از زیرشبکههای «متخصص» رو فعال میکنه) با ۲۹ میلیارد پارامتر، ۱۲۸ expert و ۴.۳ میلیارد پارامتر فعال برای هر توکن. Krafton به جای اینکه MoE رو به یه MoE کوچیکتر تبدیل کنه، اونو به یه مدل dense ساده تبدیل کرده. روشش تو یه مقالهٔ oral در NeurIPS 2025 اومده: اول expertها با یه روش «diversity-aware» امتیاز میگیرن تا expertهایی که کار متفاوتی میکنن حفظ بشن، بعد بهترینها گروهبندی و تو یه لایهٔ feed-forward ادغام میشن، و آخرش مدل جدید از مدل اصلی distill میشه.
Krafton میگه ۳۵۰ پیکربندی مختلف رو تست کرده و امتیازدهی expertها مهمترین عامل بوده. این روش نسبت به prune کردن ساده بهطور میانگین ۶.۳ امتیاز بهتر بوده و ۱.۶ برابر سریعتر train شده. کاهش ۲۹ به ۱.۵ میلیارد روی کاغذ ۲۰ برابره، ولی چون فقط ۴.۳ میلیارد پارامتر در هر توکن فعاله، فاصلهٔ واقعی کمتره. خروجی خام این تبدیل هنوز از Qwen 3 1.7B عقبتر بوده، برای همین حدود ۳ تریلیون توکن pretraining بیشتر، SFT، on-policy distillation و یه مرحلهٔ reinforcement learning هم اضافه شده. هیچ مدل پایهٔ خارجی هم تو این مسیر نیست.
مدل عمداً تو اطلاعات عمومی ضعیفه. Raon-1 Mini تو MMLU Pro بین پنج مدل مقایسهشده آخر شد (۷۶.۵ در برابر ۸۵.۹ برای Qwen)، ولی تو instruction following اول بود و تو بنچمارک Omniscience، که جواب غلط با اعتماد به نفس رو جریمه میکنه، هم بهترین بود. نویسنده معتقده این دقیقاً چیزیه که یه NPC لازم داره: به جای حفظ کردن دانش عمومی، از context بازی مثل inventory و موقعیت روی نقشه استفاده کنه و توهم نزنه. این ایده به «cognitive core» که Andrej Karpathy مطرح کرده هم نزدیکه.
برای اجرا، Krafton یه نسخهٔ FP4 داده که روی یه RTX 5090 جا میشه و یه نسخه هم برای Nvidia DGX Spark. به گفتهٔ نویسنده، با این اندازه احتمالاً نسخههای GGUF جامعه برای llama.cpp و Ollama روی کارتهای ضعیفتر هم میاد. برای Raon-1 Mini هم فعلاً یه API رایگان برای ارزیابی هست.
نکات کلیدی:
- Raon-1 Nano یه مدل dense با ۱.۵ میلیارد پارامتره و لایسنس Apache 2.0 داره.
- از Raon-1 Mini (MoE با ۲۹B پارامتر، ۱۲۸ expert و ۴.۳B فعال) ساخته شده.
- روش تبدیل MoE به dense در NeurIPS 2025 ارائه شد: ۶.۳ امتیاز بهتر از pruning و ۱.۶ برابر سریعتر.
- بعد از تبدیل، ۳ تریلیون توکن pretraining، SFT، distillation و RL اضافه شده.
- تو MMLU Pro ضعیفه ولی تو instruction following و تشخیص ندونستههاش قویه.
- نسخهٔ FP4 روی یه RTX 5090 اجرا میشه و نسخهٔ DGX Spark هم داره.




