‏Naive-N0.5-Flash: یک میلیون توکن بدون full attention

Naive-N0.5-Flash مدل جدید شرکت NaiveAI برای کدنویسی و R&D هوش مصنوعیه. یه مدل MoE هست، یعنی هر توکن فقط از یه زیرمجموعه از پارامترها رد می‌شه؛ از ۳۰۹ میلیارد پارامتر، ۱۵.۵ میلیارد برای هر توکن فعاله. وزن‌ها و کد اجراش با لایسنس MIT منتشر شده و API هم در راهه.

خبر اصلی معماریشه. بیشتر مدل‌های long-context چند تا لایهٔ full attention نگه می‌دارن که هزینه‌ش با طول متن بالا می‌ره. این مدل هیچ‌کدوم رو نداره. ۴۸ لایه‌ش تو هشت ماژول شش‌لایه چیده شدن: پنج لایهٔ Sliding-Window Attention (یعنی هر توکن فقط پنجرهٔ ۱۲۸ توکنی اطرافش رو می‌بینه) و یه لایهٔ DeepSeek Sparse Attention. در کل ۳۹ لایهٔ SWA و ۹ لایهٔ DSA داره.

تو لایه‌های DSA یه indexer سبک با ۱۶ head کل تاریخچه رو امتیاز می‌ده و attention واقعی فقط روی ۲۰۴۸ توکن برتر حساب می‌شه. KV cache کامل نگه داشته می‌شه، ولی محاسبهٔ گرون فقط روی یه تیکهٔ کوچیک انجام می‌شه. یعنی هزینهٔ تولید هر توکن با بلندتر شدن متن زیاد نمی‌شه. یه تفاوت هم با طراحی اصلی دیپ‌سیک داره: به‌جای MLA از GQA با چهار گروه KV استفاده کرده.

مدل از صفر آموزش ندیده. نقطهٔ شروعش مدل پایهٔ MiMo-V2.5 شیائومیه و بعد ۳.۲۵ تریلیون توکن آموزش اضافه دیده تا با attention جدید کنار بیاد: ۵۰ میلیارد توکن گرم کردن indexer، ۳ تریلیون توکن آموزش sparse attention و ۲۰۰ میلیارد توکن learning rate decay. به گفتهٔ مقاله، عوض کردن attention بعد از pretraining کار ساده‌ای نیست و این مراحل در واقع عادت‌های مدل برای خوندن context رو از نو می‌سازن.

موتور اجرای اختصاصیش، NaiveRT، با mega-kernel fusion (یعنی ادغام چند عملیات GPU تو یه kernel) و speculative decoding (یعنی حدس زدن چند توکن جلوتر و چک کردن موازیشون) تو حالت Standard به ۵۰ و تو حالت Ultrafast به ۲۰۰۰ توکن بر ثانیه برای هر کاربر می‌رسه. نویسنده تأکید می‌کنه این‌ها عددهای خود فروشنده‌ست و مستقل تأیید نشده.

بنچمارک‌ها مدل رو با GLM-5.3، Kimi-K3، Qwen-3.8-Max، GPT-5.6-Sol و Claude Opus 5.5 روی SWE-Bench Pro، Terminal-Bench 2.1، MLE-bench-30 و PaperBench مقایسه می‌کنن. نویسنده چند تا هشدار می‌ده: امتیاز رقبا از گزارش‌های خودشون برداشته شده، ارزیابی با Claude Code 2.1.207 به‌عنوان harness انجام شده و چند بنچمارک با ابزار داخلی AutoResearch خود شرکت سنجیده شدن. پس باید این‌ها رو گزارش خود فروشنده دید، نه یه بررسی مستقل.

نکات کلیدی:

• مدل ۳۰۹ میلیارد پارامتر کل و ۱۵.۵ میلیارد پارامتر فعال برای هر توکن داره.
• ۴۸ لایه داره: ۳۹ لایهٔ SWA با پنجرهٔ ۱۲۸ توکنی و ۹ لایهٔ DSA که ۲۰۴۸ توکن برتر رو انتخاب می‌کنن.
• روی MiMo-V2.5 شیائومی ساخته شده و ۳.۲۵ تریلیون توکن آموزش اضافه دیده.
• NaiveRT تو حالت Ultrafast تا ۲۰۰۰ توکن بر ثانیه ادعا می‌کنه، در برابر ۵۰ توکن تو حالت Standard.
• نتایج بنچمارک همه خوداظهاری شرکته و بعضی‌هاش با harness داخلی سنجیده شده.
• لایسنس MIT هست و اجرای لوکال حدود ۳۱۵ گیگ حافظه و GPU با پشتیبانی FP8 می‌خواد.