اجرای لوکال Zonos 3 Mini، مدل متن به گفتار Zyphra
خلاصهٔ کاملتر
Zonos 3 Mini یه مدل متن به گفتار (TTS) با وزنهای باز از شرکت Zyphra هست که با لایسنس Apache 2.0 منتشر شده، یعنی میشه بدون محدودیت تو محصولات تجاری ازش استفاده کرد. متن رو به صدا تبدیل میکنه، ۴۳ زبان رو پشتیبانی میکنه و میتونه صدای یه نفر رو از یه فایل صوتی کوتاه کلون کنه.
معماریش mixture-of-experts یا MoE هست، یعنی مدل از چند زیرشبکهٔ تخصصی (expert) ساخته شده و تو هر قدم فقط چندتاشون فعال میشن. کل مدل ۸۰۰ میلیون پارامتر داره، ولی تو هر توکن فقط حدود ۱۰۰ میلیونش کار میکنه، چون از بین ۶۴ expert فقط یکی دوتا انتخاب میشن. همین باعث میشه محاسبهش سبک بمونه.
با این حال مصرف حافظهش کم نیست. تو تستی که مقاله گزارش داده، مدل روی یه سرور با ۴۸ گیگ VRAM حدود ۲۵ گیگ مصرف کرده. نویسنده توضیح میده که تو مدلهای MoE همهٔ ۶۴ expert و کل ۸۰۰ میلیون پارامتر باید تو حافظه باشن، حتی اگه فقط چندتاشون فعال بشن. کدک صوتی و بخش embedding متن هم به این عدد اضافه میشن. یعنی یه کارت ۲۴ گیگی مثل RTX 4090 یا 3090 احتمالاً کافیه، ولی جای زیادی برای کارای دیگه نمیمونه.
راهاندازیش سه مرحلهست: ریپازیتوری رو با git clone میگیری، وابستگیها رو با پکیجمنیجر UV نصب میکنی و بعد مدل رو سرو میکنی تا رابط وب Zyphra Voice Studio بالا بیاد. هیچ اکانت ابری یا API key لازم نیست. سختی اصلی، داشتن VRAM کافی و نسخههای درست CUDA و Python هست. اگه حافظهت کمه، نویسنده پیشنهاد میده GPU اجاره کنی، منتظر نسخههای کوانتایزشده بمونی یا متنهای کوتاهتر بدی.
کدک صوتی مدل، صدا رو به ۱۵ فریم در ثانیه فشرده میکنه. یه شاخهٔ «معنایی» که روی یه مدل گفتار فریزشده از نوع W2V-BERT ساخته شده، محتوای زبانی رو تو یه codebook نگه میداره و جزئیات صوتی ریز تو ۹ codebook دیگه میره. خروجی نهایی صدای 44.1kHz هست که همزمان با تولید پخش میشه.
تو تستها، ایتالیایی، پرتغالی و انگلیسی آمریکایی خوب بودن، ولی لهجهٔ ایرلندی یه کم «پلاستیکی» و مصنوعی درومد. کلون صدا حتی وقتی از یه نمونهٔ شخصی برای تولید گفتار تلوگو استفاده شد، بافت صدا رو تا حد خوبی حفظ کرد. نویسنده معتقده کیفیت TTSهای متنباز داره به یه سقف میرسه و نسخههای جدید بیشتر پوشش زبان و لایسنس رو بهتر میکنن تا خود کیفیت صدا رو.
نکات کلیدی:
- لایسنس Apache 2.0 هست و استفادهٔ تجاری آزاده.
- ۸۰۰ میلیون پارامتر کل، حدود ۱۰۰ میلیون فعال در هر توکن، از بین ۶۴ expert.
- ۴۳ زبان پشتیبانی میشه و کلون صدا بین زبانها هم کار میکنه.
- مصرف VRAM تو تست حدود ۲۵ گیگ بوده، پس کارت ۲۴ گیگی حداقل لازمه.
- نصب با git clone، پکیجمنیجر UV و رابط وب Zyphra Voice Studio انجام میشه.
- کدک صوتی ۱۵ فریم در ثانیه با ۱۰ codebook (۱ معنایی و ۹ صوتی) کار میکنه.




