Audio8 ASR Infinite: رونویسی زنده‌ی بی‌پایان
هوش مصنوعیخلاصهٔ کامل‌تر
شرکت Edge0 مدل Audio8 ASR Infinite رو با لایسنس Apache 2.0 و با وزن‌های باز بیرون داده؛ یه مدل streaming ASR (یعنی همون‌طور که صدا میاد، همون لحظه متنش رو می‌نویسه) برای چینی و انگلیسی. تو این مقاله اومده که فرقش با بقیه اینه که می‌تونه بی‌وقفه و تا هر وقت که بخوای کار کنه، بدون اینکه مصرف حافظه و تأخیرش رشد کنه. روی Hugging Face منتشر شده و یه مسیر راه‌اندازی با Docker و vLLM هم داره، پس می‌تونی به‌جای یه سرویس ابری، روی سخت‌افزار خودت به‌شکل همیشه‌روشن اجراش کنی.
مشکل مدل‌های streaming معمولی اینه که KV cache (یعنی همون حافظه‌ای که مدل از فریم‌های قبلی نگه می‌داره) هر ثانیه بزرگ‌تر میشه و آخرش یا حافظه پر میشه یا مدل مجبوره تاریخچه رو قطع کنه. Audio8 یه rolling KV cache داره: یه پنجره‌ی ۳۰ ثانیه‌ای ثابت نگه می‌داره، فریم‌های قدیمی رو دور می‌ریزه و شماره‌گذاری جایگاه توکن‌ها (RoPE) رو دقیق با پنجره‌ی جدید هم‌تراز می‌کنه تا حساب زمان از دست مدل در نره. یعنی مصرف حافظه و تأخیر هر توکن، یک دقیقه یا یک روز بعد از شروع، هیچ فرقی نمی‌کنه.
از نظر ساختار، مدل از قطعه‌های آماده سر هم شده: بخش صوتیش (audio tower) از Voxtral Realtime 4B و دیکودر متنش از Qwen2.5-3B-Instruct گرفته شده، ولی projector و ماژول frame-length embedding از صفر آموزش دیدن. همین ماژول دومه که باعث میشه یه چک‌پوینت واحد هر سه حالت audio clock یعنی ۸۰، ۱۲۰ و ۱۶۰ میلی‌ثانیه رو پشتیبانی کنه. یه head جدا برای semantic VAD هم داره که فرق مکث فکر کردن، لکنت و تموم شدن واقعی نوبت حرف زدن رو تشخیص می‌ده؛ همون جایی که VADهای صوتی سنتی معمولاً اشتباه می‌کنن.
بنچمارک‌های model card با audio clock ۸۰ میلی‌ثانیه و تأخیر ۴۸۰ میلی‌ثانیه گرفته شدن. روی aishell1 نرخ خطای کاراکتر ۱.۷۵ و روی aishell4 عدد ۲.۸۹ بوده، در حالی که Voxtral-Mini-4B-Realtime روی همون تست‌ها ۱۶.۷۹ و ۱۶.۴۵ گرفته و Nemotron 3.5 هم ۱۲.۹۲ و ۱۴.۶۷. ولی روی انگلیسی ورق برمی‌گرده: تو LibriSpeech test.clean عدد Audio8 برابر ۳.۰۴ مقابل ۲.۲۱ Voxtral و تو test.other برابر ۶.۸۰ مقابل ۵.۵۵ بوده.
نویسنده تأکید می‌کنه این نسخه فعلاً یه previewه و فقط رونویسی زنده رو پوشش می‌ده؛ بخش درک معنایی در سطح فریم هنوز تو راهه. راه‌اندازیش هم با Docker Compose و یه بیلد پچ‌شده‌ی vLLM انجام میشه، پس به گفته‌ی نویسنده بدون GPU محلی و یه‌کم تجربه‌ی سرو کردن مدل تو کانتینر، جایگزین راحت یه API ابری نیست.
نکات کلیدی:
- لایسنس Apache 2.0 و وزن‌های باز، حدود ۸.۱۷ گیگابایت تو bfloat16
- پنجره‌ی ثابت ۳۰ ثانیه‌ای با rolling KV cache و مبنا‌گذاری دوباره‌ی دقیق RoPE
- سه حالت audio clock: ۸۰، ۱۲۰ و ۱۶۰ میلی‌ثانیه، تأخیر رونویسی ۲۴۰ تا ۵۶۰ میلی‌ثانیه
- CER چینی ۱.۷۵ روی aishell1 مقابل ۱۶.۷۹ Voxtral؛ WER انگلیسی ۳.۰۴ مقابل ۲.۲۱
- سرو کردن با Docker Compose و vLLM پچ‌شده، اندپوینت WebSocket روی /v1/realtime
