‏اجرای محلی Nemotron-3.5 Bolt: مدل ۷۴ میلیاردی روی یه کارت گرافیک

Nemotron-3.5 Bolt 74B-A9B یه مدل بینایی-زبانی از انویدیاست با ۷۴ میلیارد پارامتر کل که فقط ۹ میلیاردش برای هر توکن فعال می‌شه. دلیلش طراحی mixture-of-experts هست (یعنی هر توکن فقط از چند زیرشبکهٔ «متخصص» رد می‌شه، نه کل مدل). معماریش ترکیبی از Mamba-2 و Transformer هست، متن و تصویر و ویدیو رو قبول می‌کنه و تا ۲۵۶ هزار توکن context داره. این مدل از یه نسخهٔ بزرگ‌تر ۱۲۰ میلیاردی تقطیر (distill) شده.

نکتهٔ اصلی که مقاله روش تأکید داره quantization-aware training یا QAT هست. تو کوانتایز معمولی، مدل رو با دقت کامل آموزش می‌دن و بعداً وزن‌هاش رو گرد می‌کنن؛ این کار تو دقت ۲ بیتی معمولاً کیفیت رو خیلی پایین میاره. ولی تو QAT خطای کوانتایز از همون موقع آموزش وارد کار می‌شه و وزن‌ها خودشون رو با دقت پایین وفق می‌دن. انویدیا لایه‌های expert رو این‌طوری ۲ بیتی کرده و نتیجه یه فایل حدوداً ۲۲ گیگیه.

به گفتهٔ مقاله، این یعنی فرق بین «۲۰۰ گیگ VRAM لازم داره» و «۲۴ تا ۴۸ گیگ کافیه». طبق مقایسه‌های خود انویدیا، این مدل تو چند تسک با خواهر ۳۵ میلیاردی‌اش رقابت می‌کنه. مدل روی Hugging Face با نام nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB منتشر شده، ۹۰ شارد safetensors داره و با لایسنس خود انویدیا عرضه شده، نه یه لایسنس متن‌باز استاندارد.

برای اجرای محلی، مقاله llama.cpp رو پیشنهاد می‌کنه؛ به شرطی که نسخه‌ش به‌اندازهٔ کافی جدید باشه که معماری Nemotron-H و بخش‌های بینایی رو پشتیبانی کنه. مدل با یه drafter کوچیک میاد برای speculative decoding (یعنی مدل کوچیک چند توکن جلوتر رو حدس می‌زنه و مدل اصلی دسته‌ای تأییدشون می‌کنه). این کار سرعت رو بالا می‌بره بدون اینکه کیفیت خروجی عوض بشه. تو یه تست واقعی، مدل نزدیک ۳۰ گیگ VRAM مصرف کرد. اگه هم چنین کارتی نداری، اجارهٔ GPU ابری راه‌حل رایجه.

ولی تو کدنویسی، نتیجه ناامیدکننده بود. تو یه اپ واقعی با Flask، Postgres، Redis و Nginx که طول بارداری اسب توش ۳۳۰ روز هاردکد شده بود (به جای حدود ۳۴۰)، مدل دور خودش چرخید، عدد غلط رو تأیید کرد و بخش‌های بی‌ربط مثل group-by و یه کامپوننت داشبورد رو عوض کرد. تو تست ساخت انیمیشن canvas هم حتی بعد از دیدن اسکرین‌شات اشتباهش، ادعا کرد درستش کرده ولی هیچ تغییری دیده نشد. نویسنده فکر می‌کنه فشرده‌سازی ۲ بیتی دقیقاً تو استدلال چندمرحله‌ای کد هزینه داره.

در عوض تو استدلال تصویری و علمی قوی بود: هر ۹ سؤال یه داستان پیچیده دربارهٔ جای یه لپ‌تاپ رو درست جواب داد و هر ۷ مقدار یه مدار دست‌کشیده با برچسب‌های غلط رو درست حساب کرد. ترجمه به بیش از ۸۰ زبان برای زبان‌های اصلی خوب بود ولی رو زبان‌های کم‌کاربردتر توهم زد.

نکات کلیدی:

• ۷۴ میلیارد پارامتر کل و ۹ میلیارد فعال در هر توکن، تقطیرشده از مدل ۱۲۰ میلیاردی
• لایه‌های expert با QAT به ۲ بیت رسیدن و حجم فایل حدود ۲۲ گیگه
• هدف VRAM بین ۲۴ تا ۴۸ گیگه و تو تست واقعی حدود ۳۰ گیگ مصرف شد
• اجرا با llama.cpp و یه مدل drafter همراه برای speculative decoding
• لایسنس اختصاصی انویدیا، نه لایسنس متن‌باز استاندارد
• تو باگ‌یابی و کد شکست خورد ولی تو تست‌های تصویری و مدار نمرهٔ کامل گرفت