‏Nemotron 3.5 Super VL؛ مدل باز چندوجهی NVIDIA برای ایجنت‌های تخصصی

NVIDIA تو بلاگ توسعه‌دهنده‌هاش مدل Nemotron 3.5 Super VL رو معرفی کرده، یه مدل باز و چندوجهی (یعنی هم متن می‌فهمه هم تصویر، سند و ویدیو) برای ایجنت‌های سازمانی. معماریش mixture-of-experts یا MoE هست، یعنی از ۱۲۰ میلیارد پارامتر کل، برای هر توکن فقط ۱۲ میلیاردش فعال می‌شه. به گفتهٔ NVIDIA روی یه GPU تا ۵ برابر throughput بیشتری نسبت به مدل‌های باز هم‌اندازه داره.

نکتهٔ اصلی اینه که دیگه لازم نیست یه مدل متنی و یه مدل vision-language جدا بالا بیاری و context رو بینشون پاس بدی. مثلاً تو یه سند، همین مدل می‌تونه یه نمودار رو بخونه، به یه جدول دیگه تو همون سند وصلش کنه و هر دو رو خلاصه کنه. روی بنچمارک CharXiv (استدلال روی نمودار) به ۸۰.۸ درصد رسیده، در حالی که Nemotron 3 Nano Omni ۶۳ درصد گرفته بود. با اجرای کد Python این عدد به ۸۴ درصد هم می‌رسه.

NVIDIA تأکید می‌کنه که این مدل برای post-training (یعنی آموزش تکمیلی روی داده‌های خود سازمان) ساخته شده. با NeMo AutoModel می‌شه SFT و LoRA زد و با NeMo RL و NeMo Gym یادگیری تقویتی انجام داد. چند نمونه هم آورده: Ramp عکس رسیدها رو به JSON ساختاریافته تبدیل می‌کنه و انتظار ۱۰ برابر latency کمتر داره. AI21 و Alice برای تحلیل آسیب‌پذیری‌ها ۴۱ درصد دقت بیشتر گرفتن. همراه مدل، دیتاست‌های باز روی Hugging Face هم منتشر شده، از جمله ۴۰ دیتاست vision-language.

از نظر فنی، مدل از Nemotron 3 Ultra distill شده، یعنی از یه مدل بزرگ‌تر یاد گرفته. برای سرعت هم چند تا ترفند داره. LiLiCorr یه تکنیک speculative decoding (یعنی یه مدل سبک چند توکن رو حدس می‌زنه و مدل اصلی یکجا تأییدشون می‌کنه) هست که روی DGX Spark تا ۲.۳ برابر تولید توکن رو سریع‌تر می‌کنه. Multi-token prediction هم یه drafter داخلی‌ه که چند توکن رو یکجا پیشنهاد می‌ده تا مراحل سنگین تأیید کمتر بشه.

برای کم کردن حجم، مدل از فرمت NVFP4 استفاده می‌کنه: روی معماری Blackwell وزن‌ها و activationها ۴ بیتی‌ان و روی بقیهٔ پلتفرم‌ها وزن ۴ بیتی با activation ۱۶ بیتی. روش QAD (آموزش با در نظر گرفتن کوانتیزه‌شدن) کمک می‌کنه مدل با precision پایین‌تر هم دقتشو از دست نده و هیچ سربار اضافه‌ای هم موقع inference نداره. چون ایجنت‌ها مدام دستورالعمل‌ها و تعریف ابزارها رو دوباره می‌فرستن، prefix caching هم محاسبهٔ این بخش‌های تکراری رو دوباره استفاده می‌کنه.

برای استقرار، مدل با NVIDIA NIM و NVIDIA Dynamo عرضه شده. NVIDIA می‌گه روی ۱۶ تا GPU مدل B200 با سرعت ۵۰ توکن بر ثانیه برای هر کاربر، routing آگاه به KV cache تا ۸ برابر کاربر بیشتری رو سرویس می‌ده و latency اولین توکن رو ۸۵ درصد کم می‌کنه. نسخه‌های base، post-trained و NVFP4 همراه دستورالعمل‌های آموزش روی Hugging Face و ModelScope در دسترسه و از vLLM، SGLang، Ollama و LM Studio هم پشتیبانی می‌شه.

نکات کلیدی:

• ۱۲۰ میلیارد پارامتر MoE که برای هر توکن ۱۲ میلیارد پارامتر فعال می‌کنه.
• امتیاز ۸۰.۸ درصد روی CharXiv، و ۸۴ درصد با اجرای کد Python.
• LiLiCorr روی DGX Spark تا ۲.۳ برابر تولید توکن رو سریع‌تر می‌کنه.
• NVFP4 روی Blackwell وزن و activation ۴ بیتی داره و QAD سربار inference نداره.
• با Dynamo روی ۱۶ تا B200 تا ۸ برابر کاربر بیشتر و ۸۵ درصد latency کمتر برای اولین توکن.
• وزن‌های باز با قابلیت post-training از طریق NeMo AutoModel، NeMo RL و NeMo Gym.