بررسی Zonos 3 Mini: کیفیت صدا تو زبانهای مختلف
خلاصهٔ کاملتر
Zonos 3 Mini مدل متن به گفتار متنباز Zyphra هست که با لایسنس Apache 2.0 منتشر شده و روی یه GPU معمولی یا نیمهحرفهای اجرا میشه. معماریش mixture-of-experts هست، یعنی تو هر قدم فقط چندتا از ۶۴ زیرشبکهٔ تخصصی فعال میشن. برای همین با اینکه ۸۰۰ میلیون پارامتر داره، تو هر توکن فقط حدود ۱۰۰ میلیونش کار میکنه. طبق model card روی Hugging Face، ۴۳ زبان رو پوشش میده.
مدل کار رو به دو مسیر میشکنه. speaker pipeline یه فایل صوتی مرجع رو میگیره و به یه speaker embedding تبدیل میکنه، یعنی یه اثر انگشت فشرده از صدایی که باید تقلید بشه. text pipeline هم متن رو تمیز میکنه، توکن میکنه و embed میکنه. این دو تا به همراه کنترلهای بلندی صدا، پهنای باند و سرعت حرف زدن، یه سیگنال واحد میسازن که به هستهٔ مدل میره.
هسته فریمهای کدک صوتی رو یکییکی پیشبینی میکنه و هر فریم دوباره ورودی فریم بعدی میشه (روش autoregressive). یه decoder هم این فریمها رو همزمان به صدای 44.1kHz تبدیل میکنه. یعنی صدا تقریباً real-time پخش میشه و لازم نیست منتظر ساخته شدن کل کلیپ بمونی. خود کدک صدا رو به ۱۵ فریم در ثانیه فشرده میکنه: یه codebook برای محتوای زبانی و ۹ تا برای جزئیات صوتی مثل لحن و بافت. همین جدا کردن «چی گفته میشه» از «چطور به گوش میرسه» کلون صدا رو ممکن میکنه.
تو تست، یه پاراگراف استاندارد پر از تاریخ، عدد، واحد پول، آدرس ایمیل و یه جملهٔ زبونپیچ به چند زبان خونده شد. انگلیسی آمریکایی عددها و مخففها رو تمیز خوند و سرعت تولید همپای پخش بود. هندی، فرانسوی، ایتالیایی، کرهای و تلوگو قابل فهم و نسبتاً طبیعی بودن. جالبترین تست تلوگو بود که یه نمونهٔ صدای شخصی کلون شد و باهاش گفتار تلوگو ساخته شد و نتیجه «بد نبود».
ولی همهچیز خوب پیش نرفت. انگلیسی با لهجهٔ ایرلندی تو یه متن اعلام پرواز، تلفظ «پلاستیکی» داشت و چینی ماندارین هم با اینکه بافت صدا رو خوب گرفته بود، مصنوعی به نظر میرسید. نویسنده میگه این الگو تو مدلهای چندزبانه عادیه، چون دادهٔ آموزشی بیشتر سمت زبانهای پرمنبع هست. پس اگه محصولت برای چینی یا یه لهجهٔ خاصه، قبلش دقیقاً همون رو تست کن.
تو تست، مدل روی یه کارت ۴۸ گیگی حدود ۲۵ گیگ VRAM مصرف کرد، پس یه کارت ۲۴ گیگی احتمالاً کافیه. ریپازیتوری فایلهای GGUF هم برای backbone، encoder و speaker داره که اجرا روی ابزارهای شبیه llama.cpp یا کارتهای کمحافظهتر رو راحتتر میکنه. رابط وب Zyphra Voice Studio و یه کتابخونه از صداهای نمونه هم کنارش ارائه شده.
نکات کلیدی:
- لایسنس Apache 2.0 اجازهٔ استفادهٔ تجاری، تغییر و انتشار مجدد میده.
- ۸۰۰ میلیون پارامتر کل و حدود ۱۰۰ میلیون فعال در هر توکن از بین ۶۴ expert.
- خروجی صدای 44.1kHz هست و بهصورت استریم تقریباً real-time تولید میشه.
- انگلیسی، اسپانیایی، ایتالیایی و پرتغالی بهترین کیفیت رو داشتن، ایرلندی و ماندارین ضعیفتر بودن.
- مصرف VRAM حدود ۲۵ گیگ بوده و نسخههای GGUF برای سختافزار سبکتر موجوده.




