‏Naive-N0.5-Flash؛ مدل ۳۰۹ میلیاردی با کانتکست یک میلیون توکن

NaiveAI مدلی به اسم Naive-N0.5-Flash بیرون داده که روی مدل پایهٔ MiMo-V2.5 شیائومی سوار شده و هدفش کدنویسی و کارهای تحقیقاتی هوش مصنوعیه. این یه مدل MoE ـه (یعنی mixture-of-experts: شبکه به کلی متخصص تقسیم شده و برای هر توکن فقط چندتاشون روشن می‌شن) که ۳۰۹ میلیارد پارامتر کل داره، ولی هر توکن فقط ۱۵.۵ میلیاردش فعاله. وزن‌ها با لایسنس MIT منتشر شدن.

به گفتهٔ مستندات مدل، مسئلهٔ اصلی‌ای که سراغش رفته هزینهٔ کانتکست بلنده. ترانسفورمرهای معمولی دست‌کم تو چند لایه full attention دارن (یعنی هر توکن به همهٔ توکن‌های قبلی نگاه می‌کنه) و سر یک میلیون توکن همون چند لایه کل هزینهٔ decode رو می‌خورن. Naive-N0.5-Flash اون لایه‌ها رو با DeepSeek Sparse Attention یا DSA عوض کرده: یه indexer سبک کل تاریخچه رو امتیاز می‌ده و شبکهٔ اصلی فقط روی ۲۰۴۸ توکن برتر attention حساب می‌کنه.

ساختارش ۴۸ لایه‌ست که به هشت ماژول شش‌لایه تقسیم شده. تو هر ماژول پنج لایه Sliding-Window Attention با پنجرهٔ ۱۲۸ توکن و یک لایه DSA هست، و اولین لایهٔ کل شبکه هم DSA شده. یعنی نسبت توجه محلی به اسپارس حدوداً پنج به یکه و هیچ لایه‌ای از شبکه attention کامل و درجه‌دوم حساب نمی‌کنه. یه تغییر دیگه هم نسبت به DSA اصلی DeepSeek داده: جای MLA از grouped-query attention با چهار گروه KV استفاده می‌کنه.

مدل از صفر آموزش ندیده. از MiMo-V2.5 شروع کرده و ۳.۲۵ تریلیون توکن آموزش ادامه‌دار خورده: ۵۰ میلیارد توکن برای گرم‌کردن indexer، ۳ تریلیون توکن برای عادت‌دادن کل شبکه به ساختار جدید SWA-DSA، و ۲۰۰ میلیارد توکن آخر برای افت نرخ یادگیری. هدفش هم تطبیق با معماری جدید بوده، هم بهتر شدن تو کد و تحقیق.

برای اجرا هم یه استک اینفرنس اختصاصی به اسم NaiveRT ساختن که با ترکیب mega-kernel fusion، Programmatic Dependent Launch و speculative decoding تو حالت Standard حدود ۵۰ توکن بر ثانیه به هر کاربر می‌ده و تو حالت Ultrafast تا ۲۰۰۰ توکن بر ثانیه. اجرای محلی ولی ارزون نیست: وزن‌ها حدود ۳۱۵ گیگابایت جا می‌گیرن و GPU انویدیا با پشتیبانی FP8 لازمه. نتایج بنچمارک هم تو دو دستهٔ کدنویسی agentic و تحقیق هوش مصنوعی گزارش شده.

نکات کلیدی:

• ۳۰۹ میلیارد پارامتر کل، فقط ۱۵.۵ میلیارد فعال برای هر توکن
• پنجرهٔ کانتکست بومی یک میلیون توکن، بدون هیچ لایهٔ full attention
• ۴۸ لایه با نسبت ۳۹ تا SWA (پنجرهٔ ۱۲۸ توکن) به ۹ تا DSA (انتخاب ۲۰۴۸ توکن برتر)
• جای MLA از grouped-query attention با چهار گروه KV استفاده شده، کنار یه indexer سبک ۱۶-هد
• ۳.۲۵ تریلیون توکن آموزش ادامه‌دار روی پایهٔ MiMo-V2.5
• وزن‌ها با لایسنس MIT؛ نرخ API: ۰.۱ و ۰.۴ و ۰.۰۱ دلار برای ورودی و خروجی و کش به‌ازای هر میلیون توکن
• وزن‌های FP8 حدود ۳۱۵ گیگابایت و نیازمند GPU انویدیا با FP8
• بنچمارک‌ها مقابل GLM-5.3 و Kimi-K3 و DeepSeek-V4.1-Flash گزارش شده