‏Audio8 ASR Infinite؛ رونویسی زنده و بی‌وقفه

Edge0 مدل Audio8 ASR Infinite رو با وزن‌های باز و مجوز Apache 2.0 منتشر کرده. برخلاف مدل‌های معمول رونویسی که یه فایل صوتی آماده رو یه‌جا پردازش می‌کنن، این مدل برای جریان زنده ساخته شده: سر هر تیک ساعت یه توکن متن بیرون می‌ده و تو سریع‌ترین حالت ۱۲.۵ بار در ثانیه تصمیم می‌گیره. یه VAD معنایی (یعنی تشخیص اینکه گوینده حرفش تموم شده یا فقط داره فکر می‌کنه) هم همراهش اومده، چیزی که VADهای صوتی سنتی معمولاً اشتباه می‌گیرن.

نکتهٔ اصلی همون «Infinite» تو اسمشه. پنجرهٔ بومی مدل فقط ۳۰ ثانیه‌ست، ولی کش چرخشی KV با re-basing دقیق RoPE (یعنی وقتی پنجره جلو می‌ره، اطلاعات موقعیت توکن‌ها درست از نو حساب می‌شه) باعث می‌شه پنجره بی‌وقفه جلو بره. یعنی مصرف حافظه و تأخیر هر توکن، چه ۳۰ ثانیه استریم کرده باشی چه ۳۰ ساعت، ثابت می‌مونه و لازم نیست وسط کار مدل رو ری‌ست کنی.

سه گزینهٔ «ساعت صوتی» داره: ۸۰، ۱۲۰ و ۱۶۰ میلی‌ثانیه، که هر کدوم مقدار frame_len و تأخیرهای مجاز مخصوص خودش رو داره و به گفتهٔ کارت مدل فقط همین ترکیب‌ها واقعاً پس‌آموزش دیدن. راه رسمی اجرا هم Docker Compose هست که سرور vLLM و کلاینت نمایشی وب رو با یه دستور بالا میاره:

cd docker
AUDIO8_MODEL_DIR=/path/to/checkpoint docker compose up -d

بعد از بالا اومدن، از مرورگر روی پورت ۸۰۸۰ (یا ۸۴۴۳ برای TLS) می‌شه تستش کرد. تو مقاله اومده که ۱۸۱۹۱ پورت منتشرشده روی هاسته و سرویس داخل شبکهٔ داکر روی ۱۸۱۹۰ گوش می‌ده؛ بیشترین چیزی که آدم‌ها رو گیر می‌ندازه همین تفاوته. اگه داکر نمی‌خوای، یه اسکریپت Torch برای دیکد استریمی شبیه‌سازی‌شده روی یه فایل صوتی هم هست. فقط یادت باشه مدل فقط با پوشهٔ وزن کامل و ادغام‌شده کار می‌کنه، نه وزن آداپتری.

روی اعداد خود Edge0، با تأخیر ۴۸۰ و فریم ۸۰ میلی‌ثانیه، نرخ خطای کاراکتر روی aishell1/test می‌شه ۱.۷۵۰ و روی aishell4/test ۲.۸۹۳؛ مقابل ۱۶.۷۹۵ و ۱۶.۴۵۶ برای Voxtral-Mini-4B-Realtime. ولی تو انگلیسی ورق برمی‌گرده و Voxtral روی LibriSpeech test-clean با ۲.۲۱۰ جلوتر از ۳.۰۴۲ این مدله. تو مقاله اومده برای کار دوزبانه با دقت چینی بالا انتخاب خوبیه؛ اگه فقط انگلیسی می‌خوای، مدل‌های تخصصی‌تر بهترن.

نکات کلیدی:

• وزن‌ها با مجوز Apache 2.0 روی Hugging Face با نام Edge0/Audio8-ASR-Infinite و روی گیت‌هاب.
• پنجرهٔ بومی فقط ۳۰ ثانیه، اما کش چرخشی KV اجازهٔ اجرای بی‌وقفه و بدون رشد حافظه می‌ده.
• سه ساعت صوتی: ۸۰، ۱۲۰ و ۱۶۰ میلی‌ثانیه، یعنی ۱۲.۵ تا ۶.۲۵ تصمیم در ثانیه.
• فقط دو زبان: چینی و انگلیسی.
• چک‌پوینت حدود ۸.۱۷ گیگابایت در bfloat16؛ برج صوتی از Voxtral Realtime 4B و دیکدر Qwen2.5-3B-Instruct.
• VAD معنایی فعلاً پیش‌نمایشه؛ هد ۸ کلاسه‌ش با افق ۰.۵ تا ۳ ثانیه تو چک‌پوینت هست.