Nemotron Bolt 74B: مدل ۷۴ میلیاردی انویدیا توی ۲۴ گیگ VRAM
خلاصهٔ کاملتر
انویدیا مدل Nemotron 3.5 Bolt 74B-A9B رو منتشر کرده. این یه مدل mixture-of-experts (یعنی مدلی که برای هر توکن فقط چندتا از زیرشبکههای «متخصص» خودش رو فعال میکنه) هست با ۷۴ میلیارد پارامتر کل و حدود ۹ میلیارد پارامتر فعال. معماریش ترکیبی از Mamba و transformer ـه، متن و تصویر و ویدیو رو میفهمه و تا ۲۵۶ هزار توکن context پشتیبانی میکنه. کل مدل توی ۲۴ گیگ VRAM جا میشه، یعنی روی یه کارت مصرفی مثل RTX Spark هم بالا میاد.
ادعای «۲ بیتی» فقط برای لایههای متخصصها درسته. لایههای Mamba و attention با فرمت NVFP4 (یعنی ۴ بیتی) کار میکنن و embeddingها و لایهی خروجی ۸ بیتیان. پس این یه مدل با دقت ترکیبی هست، نه یه مدل یکدست ۲ بیتی.
به گفتهی نویسنده، قانون معمول اجرای لوکال اینه که بزرگترین مدلی که با ۴ بیت جا میشه رو انتخاب کنی و پایینتر نری. روش رایج یعنی post-training quantization وزنهای ۱۶ بیتی رو بعد از آموزش گرد میکنه. تا ۴ بیت تقریباً کیفیتی از دست نمیره، ولی بین ۳ و ۲ بیت کیفیت یهو سقوط میکنه. انویدیا به جاش از QAT استفاده کرده، یعنی گرد کردن وزنها از همون موقع آموزش شبیهسازی میشه و مدل یاد میگیره با دقت پایین کار کنه. یه قدم جلوتر هم رفته و QAD رو اضافه کرده؛ اینجا مدل کوانتیزهشده نقش شاگرد رو داره و از نسخهی کامل خودش یاد میگیره، پس لازم نیست کل دیتاست آموزش دوباره اجرا بشه.
ساخت مدل سه مرحله داشته. اول از Nemotron 3.5 Super (مدل ۱۲۰ میلیاردی با ۱۲ میلیارد پارامتر فعال) شروع کردن و با روشی به اسم Star Elastic هرسش کردن. این روش زیر یه بودجهی حافظهی ثابت تصمیم میگیره هر لایه چندتا متخصص نگه داره. بودجه این بوده که مدل با batch size یک و context ۱۲۸K زیر ۲۴ گیگ جا بشه. تعداد متخصصهای فعال برای هر توکن از ۲۲ به ۹ رسید و بعد با حدود ۱۲۰ میلیارد توکن از مدل مادر distill شد. مرحلهی دوم fine-tuning و چند دور reinforcement learning برای کارهای agentic بود و مرحلهی سوم همون QAD که دقتهای پایین رو توی مدل جا انداخت.
طبق بنچمارکهای خود انویدیا، رفتن از نسخهی BF16 با حجم ۱۴۸ گیگ به نسخهی ۲۲ گیگی، امتیاز رو فقط یه کم پایین آورده؛ مثلاً از حدود ۹۰ به ۸۸ توی یه بنچمارک و از ۸۹ به ۸۶ توی GPQA Diamond. ولی سرعت نقطهضعفشه: روی RTX Spark حدود ۸۴ توکن در ثانیه میده که از مدلهای هماندازهی Qwen 3 و Gemma 4 کندتره. نویسنده میگه این مدل «باهوشتر به ازای هر گیگابایت» هست، نه سریعتر. با این حال برای اجرای لوکال منطقیه، چون وقتی کنار مدل، KV cache و مرورگر و IDE هم داری، فضای خالی حافظه خیلی مهمه.
نویسنده معتقده این دستور پخت (هرس، distill، آموزش با آگاهی از کوانتیزه شدن) داره بین آزمایشگاهها رایج میشه. گوگل برای Gemma 4، OpenAI برای GPT-OSS 120B و Moonshot برای Kimi نسخهای از همین روش رو به کار بردن. دو راه دیگه هم هست: هرس کامل متخصصها مثل روش REAP از Cerebras، و BitNet مایکروسافت که مدل رو از اول با وزنهای -1 و 0 و 1 آموزش میده ولی هنوز روی GPUهای رایج شتابدهی درستوحسابی نداره.
نکات کلیدی:
- Nemotron Bolt ۷۴ میلیارد پارامتر کل و حدود ۹ میلیارد پارامتر فعال داره و context تا ۲۵۶K.
- فقط لایههای متخصص ۲ بیتیان؛ Mamba و attention با NVFP4 و embeddingها ۸ بیتی.
- حجم از ۱۴۸ گیگ (BF16) به ۲۲ گیگ رسیده و امتیاز GPQA Diamond فقط از ۸۹ به ۸۶ افت کرده.
- با Star Elastic متخصصهای فعال هر توکن از ۲۲ به ۹ کم شدن.
- سرعت روی RTX Spark حدود ۸۴ توکن در ثانیهست که از Qwen 3 و Gemma 4 هماندازه کندتره.




