‏Raon-1 mini کرافتون: مدل MoE کوچیک با استدلال قوی

KRAFTON (شرکت سازنده‌ی PUBG) یه مدل زبانی به اسم Raon-1 mini رو از صفر آموزش داده و با لایسنس Apache 2.0 به‌صورت پیش‌نمایش منتشر کرده. این مدل از نوع MoE هست (یعنی مدل از کلی زیرشبکه‌ی «متخصص» ساخته شده و برای هر توکن فقط چندتاشون فعال می‌شن). از ۲۸.۸ میلیارد پارامتر کل، فقط ۴.۳ میلیارد برای هر توکن کار می‌کنه: ۶ تا از ۱۲۸ متخصص به‌علاوه‌ی یه متخصص مشترک. یعنی هزینه‌ی اجراش نزدیک یه مدل ۴ میلیاردیه.

تو جدول بنچمارک‌ها، این مدل تو استدلال ریاضی و علوم خوب ظاهر شده. تو AIME 2026 نمره‌ی ۹۳.۳ گرفته که از Qwen3.6-35B-A3B با ۹۲.۹ و Gemma 4 26B-A4B با ۸۷.۱ بالاتره، ولی به Qwen3.8-27B (که مدل dense یعنی غیر MoE هست) با ۹۸.۸ نمی‌رسه. تو GPQA Diamond هم ۸۴.۳ گرفته، جلوتر از دو رقیب MoE و عقب‌تر از Qwen3.8-27B با ۸۹.۷. تو HMMT Feb 2026 هم ۸۴.۱ گرفته که یه کم از Qwen3.6 با ۸۴.۵ پایین‌تره.

نقطه‌ی ضعفش دانش عمومیه. تو MMLU Pro فقط ۷۶.۵ گرفته و از هر چهار مدل مقایسه‌شده عقب‌تره. ولی تو AA-Omniscience (تستی که می‌سنجه مدل چقدر می‌فهمه یه چیزی رو نمی‌دونه) تنها مدلیه که نمره‌ی مثبت گرفته (۳.۵). نویسنده می‌گه یعنی Raon-1 mini کمتر از رقباش با اعتمادبه‌نفس جواب غلط می‌ده، حتی اگه اطلاعات خام کمتری حفظ کرده باشه.

بخشی از این عملکرد به معماریش برمی‌گرده. از ۲۵ لایه‌ی مدل، ۱۸ تاش از Raon Delta Attention استفاده می‌کنن که یه نوع linear attention هست (یعنی به‌جای نگه‌داشتن همه‌ی توکن‌های قبلی، یه state با اندازه‌ی ثابت نگه می‌داره). فقط ۷ لایه attention کامل دارن که KV cache لازم داره. طبق گفته‌ی KRAFTON، این کار KV cache رو حدود ۸ کیلوبایت برای هر توکن تو BF16 نگه می‌داره. یعنی کانتکست طولانی حافظه‌ی خیلی کمتری می‌خوره.

مدل به‌صورت پیش‌فرض تا ۲۶۲,۱۴۴ توکن کانتکست رو ساپورت می‌کنه، tool calling داره و با Hermes Agent و Pi و OpenCode سازگاره. یه مدل draft به اسم DFlash2 هم برای speculative decoding (یعنی یه مدل کوچیک‌تر توکن‌ها رو حدس می‌زنه و مدل اصلی تأییدشون می‌کنه) ارائه شده که سرعت تولید رو بالا می‌بره. نسخه‌ی NVFP4 روی یه RTX 5090 با ۳۲ گیگ VRAM اجرا می‌شه. البته چون پیش‌نمایشه، به گفته‌ی خود KRAFTON ممکنه اعداد تا نسخه‌ی نهایی تغییر کنن.

نکات کلیدی:

• Raon-1 mini حدود ۲۸.۸ میلیارد پارامتر کل و ۴.۳ میلیارد پارامتر فعال برای هر توکن داره و لایسنسش Apache 2.0 هست.
• تو AIME 2026 نمره‌ی ۹۳.۳ و تو GPQA Diamond نمره‌ی ۸۴.۳ گرفته و از Qwen3.6-35B-A3B و Gemma 4 26B-A4B بهتره.
• تو MMLU Pro با ۷۶.۵ از همه‌ی مدل‌های مقایسه‌شده ضعیف‌تره.
• ۱۸ لایه linear attention و ۷ لایه attention کامل داره و KV cache حدود ۸ کیلوبایت برای هر توکنه.
• کانتکست ۲۶۲,۱۴۴ توکنی داره و نسخه‌ی NVFP4 روی یه RTX 5090 با ۳۲ گیگ اجرا می‌شه.
• اصلی‌ترین زبانش کره‌ایه و انگلیسی، ژاپنی، چینی، اسپانیایی، فرانسوی و تایلندی رو هم ساپورت می‌کنه.