Canto، مدل گفتار به متن Wispr برای دنیای واقعی
خلاصهٔ کاملتر
آزمایشگاه Wispr Advanced Interfaces Lab مدل Canto رو برای دیکتهٔ همزمان معرفی کرده. تیم Wispr میگه مدلهای فعلی روی صدای تمیز خوب کار میکنن، ولی کاربرای واقعی با هندزفری و میکروفون لپتاپ وسط ترافیک و دفتر شلوغ حرف میزنن. برای همین یه مجموعهٔ ارزیابی ۱۰ ساعته از دیکتههای واقعی بیشتر از ۲,۳۰۰ کاربر ساختن. اینجا Canto کمترین WER (یعنی درصد کلماتی که اشتباه، جاافتاده یا اضافه نوشته شدن) رو داشته.
تو یه مجموعهٔ سخت ۳ ساعته با نویز، صدای آروم، پچپچ و جملههای خیلی کوتاه، Canto دوم شده و فقط Gemini 3.1 Pro ازش جلو زده. البته Gemini یه مدل خیلی بزرگه که برای کار همزمان با تأخیر کم مناسب نیست. بین مدلهای real-time، Canto اول بوده. روی بنچمارکهای عمومی هم تو LibriSpeech مساوی اول شده ولی تو FLEURS و Common Voice اول نبوده. نویسندهها توضیح میدن این دیتاستها بیشتر متن روخوانیشدهست، نه حرف زدن خودجوش.
آموزش دو مرحله داشته: اول supervised fine-tuning که مدل کلمه به کلمه از متن مرجع یاد میگیره، بعد reinforcement learning با روش GRPO. تو GRPO مدل برای هر صدا چندتا متن مختلف تولید میکنه، هرکدوم امتیاز میگیرن و مدل یاد میگیره سمت جوابهایی بره که از بقیهٔ گروه بهترن. مزیتش اینه که میشه مستقیم روی چیزی که مهمه، مثل خطای کمتر تو صدای بد، آموزش داد.
یه ایدهی جالب، یاد گرفتن از اصلاحات کاربره. مثلاً مدل «Claude» رو «cloud» نوشته و کاربر درستش کرده. ولی همهٔ ویرایشها خطای تشخیص نیستن؛ گاهی کاربر فقط نظرش عوض شده. Wispr با سیگنالهایی مثل forced-alignment confidence (یعنی چقدر کلمه با صدا جور درمیاد) فقط اصلاحهای واقعی رو جدا میکنه و همونا رو تو متن مرجع میذاره.
مسئلهٔ دیگه دیکشنری شخصی کاربره. اگه «Barry» تو دیکشنری باشه و کاربر بگه «berry salad»، مدل نباید بیدلیل اسم رو انتخاب کنه. تیم دیده بعد از RL ساده، مدل نزدیک پنج برابر بیشتر از قبل گول کلمههای غلط و شبیه رو میخوره. بعد با اضافه کردن گزینههای فریبنده به دادههای آموزش، مدل یاد گرفت به صدا اعتماد کنه و فقط وقتی لازمه از دیکشنری استفاده کنه.
نسخهٔ بعدی با بیشتر از ده برابر اندازهٔ Canto در حال آموزشه. هدفش تشخیص بهتر چند گوینده، زبانهای بیشتر و یه معماری واحد برای تبدیل گفتار و diarization (یعنی تشخیص اینکه کی داره حرف میزنه) هست.
نکات کلیدی:
- ارزیابی روی ۱۰ ساعت دیکتهٔ واقعی از بیشتر از ۲,۳۰۰ کاربر انجام شده.
- تو مجموعهٔ سخت فقط Gemini 3.1 Pro جلوتر بوده که برای کار همزمان مناسب نیست.
- آموزش با SFT و بعد RL به روش GRPO انجام شده.
- با آموزش با گزینههای فریبنده، مدل کمتر اسم غلط دیکشنری رو جای کلمهٔ درست میذاره.
- مدل بعدی بیشتر از ده برابر بزرگتره و diarization رو هم یکجا انجام میده.




