‏تست عملی Nemotron-3.5 Bolt انویدیا: قوی در بینایی، ضعیف در کدنویسی

انویدیا مدل Nemotron-3.5 Bolt رو منتشر کرده؛ یه مدل بینایی-زبانی با ۷۴ میلیارد پارامتر که فقط ۹ میلیاردش برای هر توکن فعال می‌شه. این به لطف طراحی mixture-of-experts (یعنی مدل به جای همهٔ پارامترها، فقط چند «متخصص» مرتبط رو برای هر توکن روشن می‌کنه) ممکن شده. معماریش ترکیبی از Mamba-2 و Transformer هست و از یه نسخهٔ بزرگ‌تر ۱۲۰ میلیاردی فشرده شده.

بعدش با quantization-aware training یا QAT (یعنی مدل از همون موقع آموزش به دقت پایین عادت داده می‌شه) تا ۲ بیت کوانتایز شده. فایل نهایی حدود ۲۲ گیگه و روی یه GPU با ۲۴ تا ۴۸ گیگ VRAM جا می‌شه. متن، تصویر و ویدیو رو می‌فهمه و طبق گفتهٔ انویدیا تا ۲۵۶ هزار توکن context داره.

تو این مقاله، مدل به‌صورت محلی با llama.cpp و speculative decoding (یعنی یه مدل کوچیک drafter چند توکن جلوتر رو حدس می‌زنه و مدل اصلی تأییدشون می‌کنه) اجرا شده و نزدیک ۳۰ گیگ VRAM مصرف کرده. بزرگ‌ترین شکستش تو باگ‌یابی بود: یه اپ مدیریت مزرعهٔ اسب با Postgres، Flask، Nginx و Redis روی Docker Compose که توش طول بارداری اسب ۳۳۰ روز هاردکد شده بود، نه حدود ۳۴۰ روز. مدل این عدد رو درست حساب کرد، چند جای بی‌ربط کد رو جابه‌جا کرد و باگ اصلی سر جاش موند.

تو تست کدنویسی خلاقانه هم قرار بود یه فایل HTML تکی با canvas، یه سیخ کباب دونر چرخان جلوی بخاری گازی رو انیمیت کنه. استدلالش مرتب به نظر می‌رسید ولی خروجی خراب بود. حتی وقتی اسکرین‌شات اشتباه خودش رو دید، تلاش دومش هم درست درنیومد. ترجمهٔ یه تیتر ترکی به بیش از ۸۰ زبان هم برای زبان‌های اصلی خوب بود، ولی رو زبان‌های کم‌کاربردتر توهم زد و تو حلقه افتاد.

در عوض تو بینایی درخشید. یه تصویر کافه با داستانی چندمرحله‌ای دربارهٔ یه لپ‌تاپ که هر شخصیت فکر می‌کرد یه جای دیگه‌ست بهش دادن و هر ۹ سؤال رو درست جواب داد. یه مدار دست‌کشیده با برچسب غلط، سیم آویزون و ولت‌متری بدون سیم هم بهش دادن؛ مدل برچسب‌های غلط رو تشخیص داد و هر ۷ مقدار رو درست حساب کرد.

نویسنده معتقده این مدل برای کارهای بینایی، فهم نمودار و حل مسئلهٔ مرحله‌به‌مرحله روی سخت‌افزار محدود گزینهٔ قوی‌ایه. ولی به نظرش فشرده‌سازی شدید هزینه داره و این هزینه دقیقاً جایی دیده می‌شه که باید منطق رو تو کل یه کدبیس دنبال کرد. یعنی هنوز جای بازبینی آدم رو برای کد production نمی‌گیره.

نکات کلیدی:

• ۷۴ میلیارد پارامتر کل، ۹ میلیارد فعال در هر توکن، معماری ترکیبی Mamba-2 و Transformer
• کوانتایز ۲ بیتی با QAT، حجم حدود ۲۲ گیگ، هدف ۲۴ تا ۴۸ گیگ VRAM
• تو تست محلی با llama.cpp نزدیک ۳۰ گیگ VRAM مصرف کرد
• باگ طول بارداری ۳۳۰ روزه (به جای ۳۴۰) رو پیدا نکرد و منطق غلط رو تأیید کرد
• ۹ از ۹ تو تست استدلال تصویری و ۷ از ۷ تو تست مدار
• ترجمه به بیش از ۸۰ زبان رو زبان‌های کم‌کاربرد دچار توهم و حلقه شد