‏Phonon 2: تبدیل گفتار به متن فقط با CPU

Phonon 2 یه مدل ASR (یعنی تبدیل خودکار گفتار به متن) از شرکت Fermion Research هست. این مدل از روی Parakeet انویدیا ساخته شده و تا حدود ۱۶۴ مگابایت فشرده شده، یعنی حدود ۱۵ برابر کوچیک‌تر از نسخهٔ اصلی. کل اجراش هم روی CPU انجام می‌شه. طبق model card، میانگین word error rate (یعنی درصد کلمه‌هایی که اشتباه تشخیص داده می‌شن) روی هفت دیتاست انگلیسی Open ASR leaderboard برابر 5.21٪ هست که برای این حجم خیلی خوبه.

نویسندهٔ مقاله حدس می‌زنه این فشرده‌سازی با ترکیب quantization و distillation (یعنی آموزش یه مدل کوچیک‌تر از روی خروجی مدل بزرگ) انجام شده. حاصلش مدلیه که راحت روی لپ‌تاپ، دستگاه‌هایی در حد Raspberry Pi یا یه VM ارزون بدون GPU جا می‌شه.

نصبش روی لینوکس ساده‌ست: PyTorch نسخهٔ CPU رو نصب می‌کنی، بعد Phonon CLI رو، و شاید لازم باشه مسیرش رو به PATH اضافه کنی تا دستور phonon شناخته بشه. اجرای اول حدود ۵۰ ثانیه طول می‌کشه، چون مدل رو دانلود می‌کنه، checksum رو چک می‌کنه و یه runtime مخصوص CPU سیستمت کامپایل می‌کنه. از دفعهٔ بعد یه کلیپ کوتاه حدود ۱۴ ثانیه طول می‌کشه که بیشترش زمان لود شدن مدله، نه خود تشخیص گفتار.

Phonon 2 رو می‌شه به شکل یه سرور لوکال هم بالا آورد که API سازگار با OpenAI داره. یعنی ابزارهایی که برای API تبدیل گفتار OpenAI نوشته شدن، با تغییر کمی می‌تونن ازش استفاده کنن. وقتی سرور روشنه، درخواست‌ها خیلی سریع‌تر از حالت CLI جواب می‌گیرن.

تو تست‌های نویسنده، مدل روی صدای انگلیسی عملکرد خیلی خوبی داشت. متن رسمی، نثر ادبی قدیمی، اسم خاص و ساختگی مثل Polychrome، ضبط شخصی با کیفیت پایین و صحبت احساسی با تکرار و قطع وسط جمله رو درست تشخیص داد، و چندتاشون رو کلمه به کلمه. ولی روی زبان‌های اروپایی، عربی، هندی، اردو، اندونزیایی و مالایی نتیجه‌ها ناپایدار بود، چون این نسخه فقط برای انگلیسی fine-tune شده.

برای پشتیبانی چندزبانه، نسخهٔ Phonon 2.5 هست که روی parakeet-tdt-0.6b-v3 انویدیا ساخته شده، بیش از ۲۴ زبان رو پوشش می‌ده و یه بیلد MLX هم برای Apple Silicon داره. لایسنس وزن‌ها CC-BY-4.0 و کد Apache 2.0 هست. پس برای استفادهٔ تجاری باید شرط‌هاش، مثل ذکر منبع، رو چک کنی.

نکات کلیدی:

• حجم Phonon 2 حدود ۱۶۴ مگابایته، حدود ۱۵ برابر کوچیک‌تر از Parakeet انویدیا.
• میانگین word error rate روی ۷ دیتاست انگلیسی Open ASR leaderboard برابر 5.21٪ هست.
• اجرای اول حدود ۵۰ ثانیه و اجراهای بعدی برای کلیپ کوتاه حدود ۱۴ ثانیه طول می‌کشه.
• یه حالت سرور با API سازگار با OpenAI داره.
• این نسخه فقط انگلیسیه و Phonon 2.5 بیش از ۲۴ زبان و بیلد MLX داره.
• لایسنس وزن‌ها CC-BY-4.0 و کد Apache 2.0 هست.