Audio8 ASR Infinite: تشخیص گفتار بی‌پایان
هوش مصنوعیClaude Opus 5خلاصهٔ کامل‌تر
Edge0 یه مدل تشخیص گفتار زنده به اسم Audio8 ASR Infinite منتشر کرده که وزن‌هاش بازه و با لایسنس Apache 2.0 روی Hugging Face و GitHub هست. ساختارش ترکیبیه: audio tower خودش رو، یعنی بخشی که خود صدا رو پردازش می‌کنه، مستقیم از Voxtral Realtime 4B برداشته، ولی دیکودر رو با Qwen2.5-3B-Instruct عوض کرده و یه audio projector جدید هم آموزش داده. تو این مقاله اومده که همین جابه‌جایی دیکودر، توضیح احتمالی برتری عجیبش تو چینیه، چون مدل‌های Qwen ذاتاً روی زبان چینی قوی‌ترن.
عددها کاملاً دوقطبیه. روی Aishell1/test و Aishell4/test چینی که با CER سنجیده میشه (یعنی نرخ خطا در سطح کاراکتر)، Audio8 به 1.750 و 2.893 رسیده، در حالی که Voxtral-Mini-4B-Realtime-2602 روی همون دیتاست‌ها 16.795 و 16.456 گرفته. ولی روی LibriSpeech انگلیسی ورق برمی‌گرده: Voxtral با WER برابر 2.210 و 5.552 جلوتر از 3.042 و 6.808 می‌ایسته. Nemotron هم تو چینی وسط جدول می‌مونه و تو هر دو تست انگلیسی از هر دوشون عقب‌تره.
میانگین چهار تست برای Audio8 میشه 3.623 درصد خطا، مقابل 10.253 برای Voxtral و 9.524 برای Nemotron. نویسنده ولی هشدار می‌ده که این میانگین گمراه‌کننده‌ست: تقریباً تمام برتری Audio8 تو ماندارین جمع شده و همون فاصله بزرگ، کل عدد ترکیبی رو به نفعش می‌کشه بالا. یعنی اگه پایپ‌لاین شما فقط انگلیسیه، این میانگین به شما هیچی نمی‌گه.
اسم «Infinite» هم به پنجره متن بزرگ ربطی نداره؛ متن بومی مدل همون 30 ثانیه‌ست، مثل بقیه مدل‌های ترنسفورمری. کاری که می‌کنه یه rolling KV cache با re-basing دقیق RoPE هست، یعنی کش رو جلو می‌سُره و حالت‌های قدیمی صدا رو می‌ریزه بیرون، ولی موقعیت‌های چرخشی رو دوباره پایه‌گذاری می‌کنه تا حس زمان نسبی از دستش نره. نتیجه‌ش حافظه و تأخیر ثابته، پس برای زیرنویس زنده یا مرکز تماس واقعاً قابل استفاده میشه.
دو تا اهرم تنظیم هم داره. اولی «audio clock» که تعیین می‌کنه مدل هر 80، 120 یا 160 میلی‌ثانیه یه تصمیم توکن بگیره، و دومی تأخیر متن‌نویسی که از 240 تا 560 میلی‌ثانیه تنظیم میشه. کلاک تندتر و تأخیر کمتر یعنی پاسخ سریع‌تر، کلاک کندتر یعنی دقت بیشتر. عددهای بنچمارک با کلاک 80 و تأخیر 480 گرفته شده که وسط طیفه، نه سریع‌ترین حالت و نه دقیق‌ترین. یه semantic VAD جدا هم داره که فرق «حرفم تموم شد» با «دارم فکر می‌کنم» رو بگیره، چیزی که VADهای صوتی سنتی زیاد اشتباه می‌گیرن.
نکات کلیدی:
- وزن‌های باز با لایسنس Apache 2.0، روی Hugging Face و GitHub
- CER چینی: 1.750 روی Aishell1 و 2.893 روی Aishell4، مقابل 16.795 و 16.456 برای Voxtral
- WER انگلیسی: Voxtral با 2.210 و 5.552 جلوتره، Audio8 روی 3.042 و 6.808
- دیکودر Qwen2.5-3B-Instruct سوار شده روی audio tower مدل Voxtral Realtime 4B
- متن بومی فقط 30 ثانیه، اما rolling KV cache متن‌نویسی 24/7 با حافظه و تأخیر ثابت می‌ده
- کلاک انتخابی 80/120/160 میلی‌ثانیه و تأخیر 240 تا 560 میلی‌ثانیه
- semantic VAD با 8 کلاس روی افق‌های 0.5 تا 3 ثانیه
- این نسخه فعلاً preview هست و فقط پایه متن‌نویسی رو داره
