‏Voxtral 3 میسترال: مدل‌های گفتار و SDK ساخت ایجنت صوتی

میسترال Voxtral 3 رو معرفی کرده، یه خانوادهٔ جدید از مدل‌های speech-to-text و text-to-speech به‌همراه یه voice agent SDK. به گفتهٔ میسترال، ساخت ایجنت صوتی سخته چون باید همزمان چهار کار رو خوب انجام بده: درست بشنوه، منظور کاربر رو بفهمه، طبیعی حرف بزنه و چند مرحله کار واقعی انجام بده. Voxtral 3 قراره همهٔ این‌ها رو تو یه pipeline بلادرنگ کنار هم بذاره.

بخش رونویسی با مدل Voxtral Small Transcribe 3 از بیش از ۵۰ زبان پشتیبانی می‌کنه، از جمله ۲۴ زبان رسمی اتحادیهٔ اروپا. قابلیت diarization (یعنی تشخیص اینکه کی چی گفته) و context biasing (یعنی دادن اصطلاحات تخصصی به مدل تا دقیق‌تر بنویسه) هم داره، پس بدون fine-tune کردن هم با واژه‌های تخصصی کنار میاد. میسترال می‌گه این مدل از Whisper، Scribe v2 و Gemini 3.5 Transcribe بهتر عمل می‌کنه. نسخهٔ Mini هم ۴ میلیارد پارامتر داره و دقیقه‌ای 0.0035 دلار خرج داره.

برای کارهای بلادرنگ، Voxtral Realtime Transcribe 3 با تأخیر زیر ۵۰۰ میلی‌ثانیه کار می‌کنه. این مدل end-of-turn detection رو هم داره، یعنی با نشانه‌های صوتی و معنایی تشخیص می‌ده کاربر حرفش تموم شده یا نه. نتیجه‌ش اینه که ایجنت سریع جواب می‌ده ولی وسط حرف کاربر نمی‌پره.

سمت تولید صدا، Voxtral Mini TTS 3 از بیش از ۳۵ زبان و ۵۰ لهجه پشتیبانی می‌کنه و از روی متن خودش احساس، سرعت و تأکید مناسب رو انتخاب می‌کنه. این‌ها رو با متغیرهای emotion، pacing و emphasis هم می‌شه صریح کنترل کرد. قیمتش برای هر یک میلیون کاراکتر ۱۳ دلاره که به گفتهٔ میسترال از OpenAI TTS-1، Deepgram، ElevenLabs Flash و Gemini Flash ارزون‌تره. قابلیت Pro Voice هم با حدود ۳۰ دقیقه صدا، سبک و دامنهٔ احساسی یه گوینده رو بین زبان‌های مختلف بازسازی می‌کنه.

خود SDK روی LiveKit ساخته شده و شنیدن، استدلال و حرف زدن رو یه جریان streaming واحد می‌کنه. هیچ مرحله‌ای منتظر مرحلهٔ قبل نمی‌مونه، برای همین هر نوبت گفتگو زیر یک ثانیه تموم می‌شه و اگه تماس‌گیرنده وسط حرف بپره، ایجنت ساکت می‌شه. ایجنت می‌تونه با function calling و جستجو هویت کسی رو تأیید کنه یا وقت رزرو کنه، از SIP و WebRTC پشتیبانی می‌کنه و چون هر مرحله یه مدل جداست، می‌شه LLM یا صدا رو بدون بازنویسی ایجنت عوض کرد.

Voxtral 3 الان از طریق API میسترال با endpointهای اروپا، آمریکا و جهانی در دسترسه و می‌شه کل stack رو روی زیرساخت خودت هم اجرا کرد. این یعنی سازمان‌ها کنترل دارن صدا کجا پردازش بشه و ذخیره بشه یا نه. API ایجنت صوتی با Mistral Small 4 دقیقه‌ای 0.04 دلار و با مدل بزرگ‌تر دقیقه‌ای 0.08 دلار قیمت داره.

نکات کلیدی:

• Voxtral Small Transcribe 3 بیش از ۵۰ زبان رو با diarization و context biasing رونویسی می‌کنه و دقیقه‌ای 0.004 دلاره.
• Voxtral Mini Transcribe 3 مدل ۴ میلیارد پارامتری با قیمت 0.0035 دلار در دقیقه‌ست.
• مدل Realtime تأخیر زیر ۵۰۰ میلی‌ثانیه داره و پایان حرف کاربر رو خودش تشخیص می‌ده.
• Voxtral Mini TTS 3 از ۳۵+ زبان و ۵۰+ لهجه پشتیبانی می‌کنه و هر یک میلیون کاراکتر ۱۳ دلاره.
• SDK ایجنت صوتی روی LiveKit ساخته شده و هر نوبت گفتگو رو زیر یک ثانیه انجام می‌ده.
• Pro Voice با حدود ۳۰ دقیقه صدا، سبک یه گوینده رو بازسازی می‌کنه.
• امکان اجرای کامل روی زیرساخت شخصی یا API اروپایی میسترال وجود داره.