‏Nemotron 3.5 Transcribe: مدل متن‌باز انویدیا برای تبدیل صدا به متن

انویدیا مدل Nemotron 3.5 Transcribe رو به‌صورت open-weight منتشر کرده؛ مدلی برای رونویسی صدا، برچسب زدن گوینده‌ها و ترجمه تو حدود ۴۰ زبان که فایل‌های تا یه ساعت رو هم قبول می‌کنه. معماریش mixture-of-expertsـه، یعنی از ۳۰ میلیارد پارامتر کل، برای هر توکن فقط حدود ۴.۳ میلیارد فعال می‌شن. همین باعث می‌شه سریع‌تر و سبک‌تر از یه مدل dense هم‌اندازه کار کنه.

تو این مقاله اومده که مدل رو با vLLM اجرا می‌کنی: صدا رو همراه یه دستور متنی ساده می‌فرستی و می‌گی چی می‌خوای. متن تمیز، متن کلمه‌به‌کلمه با «اِ» و «اوم»ها، برچسب گوینده، timestamp یا ترجمه. پشت صحنه یه audio encoder صدای خام رو پردازش می‌کنه، یه speaker encoder صداهای مختلف رو از هم جدا می‌کنه و خود مدل زبانی Nemotron متن نهایی رو می‌سازه. یه timestamp head جدا هم زمان هر کلمه رو اضافه می‌کنه.

نتیجه اینه که دیگه لازم نیست سه تا pipeline جدا برای diarization (یعنی تشخیص اینکه کی داره حرف می‌زنه)، رونویسی و ترجمه سرهم کنی. فقط متن دستور رو عوض می‌کنی و رفتار مدل عوض می‌شه، که وصل کردنش به یه اپ بزرگ‌تر رو خیلی ساده‌تر می‌کنه.

سخت‌افزار نقطهٔ ضعفشه. اجرا با دقت کامل BF16 کمی بیشتر از ۷۵ گیگ VRAM مصرف می‌کنه، یعنی عملاً یه GPU هشتاد گیگی مثل A100 یا H100 لازمه. روی دیسک هم حدود ۶۷ گیگ جا می‌گیره. کم کردن context window مصرف حافظه رو پایین میاره ولی طول صدایی که یه‌جا پردازش می‌شه کوتاه‌تر می‌شه. راه عملی‌تر برای کارت‌های کوچیک‌تر کوانتیزه‌سازیه.

طبق بنچمارک‌های خود انویدیا، فرمت‌های FP8 و NVFP4، مخصوصاً همراه speculative decoding (یعنی یه مدل کوچیک‌تر چندتا توکن رو حدس می‌زنه و مدل اصلی فقط تأییدشون می‌کنه)، خیلی سریع‌تر از BF16 هستن. بهترین حالت بیش از ۲۰۰۰ ثانیه صدا رو تو هر ثانیه پردازش می‌کنه؛ یعنی یه کلیپ ۳۰ ثانیه‌ای تو کسری از ثانیه متن می‌شه. البته مقدار دقیق VRAM نسخه‌های کوانتیزه گفته نشده و باید خودت تست کنی.

نویسنده مدل رو روی زبان‌هایی مثل عربی، آلمانی، ژاپنی، کره‌ای و هندی، حتی با صدای بی‌کیفیت و پرنویز، تست کرده و نتیجه بیشترشون خوب بوده؛ گوینده‌های هم‌پوشان تو یه تماس تلفنی درست جدا شدن. ولی روی عبری و اردو، مخصوصاً با صدای خراب، خطاها بیشتر بوده. نویسنده یادآوری می‌کنه که مجوزش شبیه OpenMDW هست و قبل از استفادهٔ تجاری باید شرایطش رو دقیق خوند.

نکات کلیدی:

• معماری mixture-of-experts با ۳۰ میلیارد پارامتر کل و حدود ۴.۳ میلیارد پارامتر فعال
• پشتیبانی از حدود ۴۰ زبان و فایل صوتی تا یک ساعت
• اجرای BF16 با vLLM بیش از ۷۵ گیگ VRAM و حدود ۶۷ گیگ دیسک می‌خواد
• رونویسی، diarization، timestamp کلمه‌ای و ترجمه همه با یه مدل و فقط با تغییر دستور متنی
• FP8 و NVFP4 با speculative decoding تا بیش از ۲۰۰۰ ثانیه صدا در هر ثانیه پردازش می‌کنن
• دقت روی عبری و اردو با صدای بی‌کیفیت پایین‌تره
• مجوز OpenMDW قبل از استفادهٔ تجاری باید بررسی بشه