Cue، مدل تازهٔ ElevenLabs برای همزمانکردن متن و صدا
خلاصهٔ کاملتر
ElevenLabs تو بلاگش مدل Cue رو معرفی کرده؛ یه مدل forced alignment، یعنی مدلی که متن و صدا رو میگیره و میگه هر کلمه دقیقاً کجای فایل گفته شده. Cue این کارو حتی در سطح حرف انجام میده. مقاله تأکید میکنه این موضوع با AI alignment (همراستا کردن رفتار هوش مصنوعی با ارزشهای آدمها) فرق داره و اینجا فقط بحث جور کردن متن با صداست.
Cue آخرین مرحلهٔ pipeline تبدیل گفتار به متن توی ElevenLabs هست. مدل Scribe صدا رو به متن تبدیل میکنه و Cue زمانبندی رو مشخص میکنه. هر درخواست Scribe از Cue رد میشه و همین مدل زیرنویس، دوبله و زمانبندی متن آهنگ رو هم میسازه. از طریق Forced Alignment API هم جداگونه در دسترسه.
به گفتهٔ مقاله، ابزارهای open-source چندتا مشکل داشتن. بیشترشون برای کلیپهای حدود ۳۰ ثانیهای خوبن و فایلهای بلند رو باید تیکهتیکه کرد. هر تیکه و هر محل اتصال یه کم خطای زمانی اضافه میکنه. Cue فایل با هر طولی رو یهجا پردازش میکنه. میانگین خطای زمانیش روی فایلهای کامل ۱۷۹ میلیثانیهست، ولی بقیه بین ۲۸۳ تا بیش از ۶۰۰۰ میلیثانیه خطا داشتن.
روی ضبطهای انگلیسی با نویز، صدای همپوشان یا موسیقی پسزمینه، خطای Cue بهطور میانگین ۵۷ میلیثانیهست و بقیه بین ۶۵ تا ۹۲۰. بیشتر ابزارهای open-source برای هر زبان یه مدل جدا لازم دارن، ولی Cue یه مدل واحده. توی بنچمارک ۲۹ زبانه، فقط MMS-FA هم همهٔ زبانها رو پوشش میداد. از نظر سرعت، Cue یه ساعت صدا رو روی GPU حدود نیم ثانیه align میکنه؛ ابزار بعدی یعنی Qwen3-ForcedAligner نزدیک ۲ ثانیه و کندترینش بیش از یه دقیقه طول کشید.
جالب اینه که Cue از aligner قبلی خود ElevenLabs کوچیکتره. تیم بنچمارک رو از درخواستهای واقعی کاربرا ساخته. Danila Kozlov، پژوهشگر ElevenLabs، میگه دقت مدل از توان آدمها هم رد شده و چون بنچمارکها در سطح کلمهان، دقت واقعیش در سطح حرف رو کامل نشون نمیدن. یه بار هم یه مشتری گفت گرجی و چندتا زبان کممنبع ضعیف کار میکنن و تیم کمتر از ۲۴ ساعت بعد نسخهٔ بهترشده رو منتشر کرد.
روی آهنگ هم، که کشیدهشدن کلمهها توی آواز کارو سخت میکنه، Cue روی دیتاست JamendoLyrics MultiLang به چهار زبان ۹۲.۷٪ کلمهها رو با فاصلهٔ کمتر از ۰.۳ ثانیه درست جا داد؛ بهترین رقیب ۸۲٪ بود. میانگین خطای شروعش ۰.۸۲ ثانیه بود، تقریباً نصف نزدیکترین رقیب، و روی دستکم ۱۹ آهنگ از ۲۲ آهنگ از بقیه بهتر بود.
نکات کلیدی:
- Cue مدل forced alignment شرکت ElevenLabs هست و زمان هر حرف رو توی صدا مشخص میکنه.
- میانگین خطای زمانی روی فایلهای کامل ۱۷۹ میلیثانیهست؛ رقبا ۲۸۳ تا بیش از ۶۰۰۰.
- یه ساعت صدا رو حدود نیم ثانیه روی GPU پردازش میکنه؛ Qwen3-ForcedAligner نزدیک ۲ ثانیه.
- یه مدل واحد برای همهٔ ۲۹ زبان بنچمارک، بدون نیاز به تیکهکردن فایلهای بلند.
- روی آهنگها ۹۲.۷٪ کلمهها رو زیر ۰.۳ ثانیه خطا جا داد، در برابر ۸۲٪ بهترین رقیب.
- از طریق Forced Alignment API هم در دسترسه.




