‏Nemotron 3.5 Transcribe: مدل گفتار به متن انویدیا با وزن‌های باز

انویدیا مدل Nemotron 3.5 Transcribe رو روی Hugging Face منتشر کرده. این یه مدل ASR (یعنی تبدیل خودکار گفتار به متن) با وزن‌های بازه که پیاده‌سازی متن، ترجمه و diarization (یعنی تشخیص اینکه هر جمله رو کدوم گوینده گفته) رو یک‌جا انجام می‌ده. مدل ۳۰ میلیارد پارامتر داره ولی چون معماریش mixture-of-experts هست (یعنی برای هر توکن فقط بخشی از مدل فعال می‌شه)، هر بار فقط حدود ۴.۳ میلیارد پارامترش کار می‌کنه و همین سریع‌ترش می‌کنه.

طرز کارش اینطوریه که صدا رو با یه دستور متنی ساده بهش می‌دی؛ مثلاً «متن کلمه به کلمه بده» یا «به یه زبان دیگه ترجمه کن». یه encoder صدا رو پردازش می‌کنه، یه encoder دیگه صدای گوینده‌ها رو از هم جدا می‌کنه و هر دو به هسته‌ی زبانی Nemotron می‌رسن. یه بخش جدا هم برای هر کلمه timestamp می‌ذاره. یعنی دیگه لازم نیست برای هر کار یه مدل جدا راه بندازی.

تو مقاله اومده که مدل یه تماس تلفنی شلوغ با دو نفر که وسط حرف هم می‌پریدن رو کامل پیاده کرده، گوینده‌ها رو درست برچسب زده و به هر کلمه زمان داده. صداهای تا یه ساعت رو هم یک‌جا پردازش می‌کنه. تو تست روی حدود ۳۰ زبان با صدای بی‌کیفیت، زبان‌های اصلی اروپایی خیلی خوب دراومدن، عبری و ژاپنی قابل‌قبول بودن ولی اردو خطاهای واضحی داشت. نویسنده می‌گه احتمالاً داده‌ی آموزشی (Granary-v2) برای بعضی زبون‌ها کمتره، پس زبان هدفت رو خودت تست کن.

سرعتش بالاست: طبق بنچمارک انویدیا با کوانتیزه‌سازی FP8 یا NVFP4 و speculative decoding بیشتر از ۲۰۰۰ ثانیه صدا رو تو یه ثانیه پردازش می‌کنه. ولی نسخه‌ی کامل BF16 حدود ۷۵ گیگ VRAM و ۶۷ گیگ دیسک می‌خواد، یعنی عملاً یه A100 یا H100 هشتاد گیگی. مجوزش هم لایسنس اختصاصی انویدیاست، نه یه لایسنس متن‌باز آزاد؛ پس قبل از استفاده‌ی تجاری باید شرایطش رو دقیق بخونی.

نکات کلیدی:

• مدل MoE با ۳۰ میلیارد پارامتر که فقط حدود ۴.۳ میلیاردش در هر قدم فعاله
• پیاده‌سازی، ترجمه، تشخیص گوینده و timestamp کلمه به کلمه با یه مدل و یه دستور متنی
• پشتیبانی از بیشتر از ۳۵ زبان و صداهای تا یه ساعت، به‌همراه جابه‌جایی بین زبان‌ها وسط صحبت
• بیشتر از ۲۰۰۰ ثانیه صدا در ثانیه با FP8/NVFP4 و speculative decoding
• نسخه‌ی کامل حدود ۷۵ گیگ VRAM و ۶۷ گیگ دیسک لازم داره
• کیفیت روی زبان‌های کم‌منبع مثل اردو ضعیف‌تره و لایسنسش هم کاملاً آزاد نیست