‏Nemotron 3.5 Transcribe: مدل باز انویدیا برای تبدیل گفتار به متن

انویدیا مدل Nemotron 3.5 Transcribe رو با وزن‌های باز روی Hugging Face و ModelScope گذاشته. این مدل چهار کار رو تو یه checkpoint انجام می‌ده: تبدیل گفتار به متن تو ۴۰ زبان، ترجمه‌ی ۳۱ زبان به انگلیسی یا برعکس، diarization (یعنی تشخیص اینکه هر جمله رو کی گفته) تو ۱۳ زبان، و جواب دادن به سؤال درباره‌ی صدا. تا یه ساعت صدا رو می‌گیره و تا هشت گوینده رو برچسب می‌زنه.

نکته‌ی اصلی اینه که مدل promptable هست، یعنی خروجی رو با یه دستور معمولی تعیین می‌کنی. مثلاً «هر گوینده رو مشخص کن» یا «تصمیم‌های این جلسه چی بود؟». برای اصطلاحات ناآشنا هم تیم انویدیا می‌گه اول تو prompt کلمه‌ها رو بده (مثل اسم دارو) و بگو فقط وقتی تو صدا هست ازشون استفاده کنه، بعد سراغ آموزش برو. timestamp کلمه‌به‌کلمه هم پشتیبانی می‌شه.

تو رتبه‌بندی‌ها نتیجه‌ها قویه: تو Open ASR Leaderboard بین مدل‌های باز انگلیسی با WER (یعنی درصد کلمه‌هایی که اشتباه نوشته شدن) ۵.۳۳٪ اوله. تو Artificial Analysis با ۲.۸٪ اول مشترکه، در حالی که حدود 4B پارامتر فعال داره، نه 24B مثل رقیبش. دلیلش اینه که مدل زبانیش یه mixture-of-experts ترکیبی Mamba و Transformer هست و از 30B پارامتر فقط حدود 4B برای هر token کار می‌کنن. تو دو بنچمارک تشخیص گوینده هم بین ۱۴ سیستم اول شده.

سرعتش هم بالاست: نسخه‌ی کوانتیزه‌ی NVFP4 که هنوز منتشر نشده، ۱۰۰ ساعت صدا رو روی یه GPU سری RTX PRO 6000 Blackwell زیر سه دقیقه پردازش کرده. فعلاً با vLLM و SGLang-Omni می‌شه سرو کرد و اجرای لوکال با NeMo-Speech.cpp به‌زودی میاد. یه محدودیت مهم: مدل برای صدای ضبط‌شده ساخته شده، نه پخش زنده.

کنار مدل، دیتاست Granary v2 هم منتشر شده: ۴۶۳ هزار ساعت صدا تو ۴۸ زبان، با یه pipeline قابل استفاده‌ی مجدد که با NeMo Curator ساخته شده. برای هر صدا سه شکل متن داره، مثلاً یکی عدد رو با حروف و «اِ» و «اوم» می‌نویسه و یکی تمیز و با رقم. یعنی می‌تونی همین pipeline رو روی صداهای خودت هم اجرا کنی.

تو یه نمونه‌ی پزشکی روی صدای پزشک‌های هندی، fine-tune کردن با حدود ۱۵۳ ساعت صدای مصنوعی و داده‌ی واقعی، WER رو روی گوینده‌هایی که مدل ندیده بود از ۲۲.۴۴٪ به ۱۲.۱۷٪ رسوند، یعنی ۴۵.۸٪ بهتر. کل این کار حدود ۱۴ ساعت GPU روی یه GB300 طول کشید. هزینه‌اش هم کم بود: WER انگلیسی عمومی فقط از ۱.۵۴٪ به ۱.۶۹٪ رفت بالا.

نکات کلیدی:

• رونویسی ۴۰ زبان، ترجمه‌ی ۳۱ زبان، تشخیص گوینده تو ۱۳ زبان، تا یه ساعت صدا و هشت گوینده
• 30B پارامتر که فقط حدود 4B برای هر token فعاله
• WER انگلیسی ۵.۳۳٪، اول بین مدل‌های باز تو Open ASR Leaderboard
• فقط برای صدای ضبط‌شده، نه پخش زنده
• Granary v2 با ۴۶۳,۰۶۲ ساعت صدا تو ۴۸ زبان
• fine-tune پزشکی WER رو ۴۵.۸٪ کم کرد، با حدود ۱۴ ساعت GPU