Nemotron Bolt انویدیا: مدل ۷۴ میلیاردی تو ۲۴ گیگ حافظه
خلاصهٔ کاملتر
Nemotron 3.5 Bolt 74B A9B یه مدل mixture-of-experts (یعنی مدلی که برای هر توکن فقط بخشی از «متخصصها»ش فعال میشن) از انویدیاست. ۷۴ میلیارد پارامتر کل داره و حدود ۹ میلیاردش برای هر توکن فعاله. وزنهای متخصصها با دقت ۲ بیتی ذخیره شدن و کل مدل تو ۲۴ گیگ حافظه، یعنی اندازهی یه کارت گرافیک معمولی، جا میشه. به گفتهی مقاله، نکتهی جالب حجم فایل نیست، بلکه روشیه که انویدیا برای رسیدن به این حجم استفاده کرده.
روش معمول کوچیک کردن مدل، post-training quantization هست؛ یعنی مدل رو با ۱۶ بیت آموزش میدن و بعد وزنها رو گرد میکنن. این کار تا ۸ بیت و تقریباً ۴ بیت بیدردسره، ولی بین ۳ و ۲ بیت کیفیت یهو سقوط میکنه. دلیلش اینه که مدل عملاً به یه شبکهی دیگه تبدیل میشه که هیچوقت فرصت عادت کردن بهش رو نداشته. تحقیق ParetoQ متا نشون داده اگه مدل از اول درست با بیت کم آموزش ببینه، یه مدل ۲ یا ۳ بیتی میتونه از یه مدل ۴ بیتی با همون حجم حافظه بهتر باشه.
انویدیا سه مرحله طی کرده. اول هرس: از Nemotron 3.5 Super با ۱۲۰ میلیارد پارامتر شروع کرد و با یه جستجوی خودکار معماری، تعداد متخصصهای فعال هر توکن رو از ۲۲ به ۹ رسوند. هدف هرس یه عدد دلخواه نبود؛ مدل باید با context ۱۲۸ هزار توکنی زیر ۲۴ گیگ جا میشد، با این فرض که متخصصها آخرش ۲ بیتی میشن.
مرحلهی دوم distillation بود (یعنی مدل کوچیک از روی خروجیهای مدل بزرگ یاد میگیره) با حدود ۱۲۰ میلیارد توکن، بیشترش با context کوتاه حدود ۸ هزار توکنی و بعد تا ۱۲۸ هزار. بعدش encoder تصویر دوباره وصل شد، fine-tune، ادغام checkpointها و چند دور یادگیری تقویتی برای کارهای agentic انجام شد. تا اینجا مدل هنوز bfloat16 بود.
مرحلهی سوم quantization-aware training یا QAT بود؛ یعنی تو هر forward pass گرد شدن به بیت کم شبیهسازی میشه ولی یه نسخهی کامل از وزنها برای بهروزرسانی نگه داشته میشه. انویدیا نسخهای به اسم QAD استفاده کرده که توش مدل کمبیت شاگرده و مدل کامل bfloat16 معلمه. اینطوری همهی دستاوردهای fine-tune و RL حفظ میشه و دیگه به دیتاست اصلی آموزش نیازی نیست. مقاله میگه گوگل برای Gemma، OpenAI برای GPT-OSS و Moonshot برای Kimi هم روشهای مشابه به کار بردن.
هزینهش کمه: امتیاز یه بنچمارک از حدود ۹۰ به ۸۸ و GPQA Diamond از ۸۹ به ۸۶ رسیده، در حالی که حجم از حدود ۱۴۸ گیگ به ۲۲ گیگ اومده. البته فقط وزنهای متخصصها ۲ بیتین؛ لایههای attention و مسیریابی NVFP4 (۴ بیتی) و embedding و لایهی خروجی ۸ بیتین. سرعتش هم بهترین نیست و روی RTX Spark حدود ۸۴ توکن در ثانیه تولید میکنه. یعنی به ازای هر گیگ باهوشتره، نه سریعتر.
نکات کلیدی:
- Bolt با ۷۴ میلیارد پارامتر کل و ۹ میلیارد فعال، تو ۲۴ گیگ حافظه جا میشه.
- از Nemotron 3.5 Super با ۱۲۰ میلیارد پارامتر هرس شده و متخصصهای فعال از ۲۲ به ۹ رسیدن.
- فقط وزنهای متخصصها ۲ بیتین؛ attention با NVFP4 و embedding و خروجی ۸ بیتیان.
- روش QAD مدل کمبیت رو از روی نسخهی کامل bfloat16 آموزش میده.
- حجم از ۱۴۸ به ۲۲ گیگ رسیده و GPQA Diamond فقط از ۸۹ به ۸۶ افت کرده.
- سرعت تولیدش روی RTX Spark حدود ۸۴ توکن در ثانیهست.




