‏Dessa: مدل صوتی Block که بدون متن حرف زدن یاد گرفته

Dessa یه مدل هوش مصنوعی صوتیه که یه آزمایشگاه تحقیقاتی کوچیک داخل Block (شرکت فین‌تک Jack Dorsey که Square و Cash App مال اونه) ساخته. به گفته‌ی تیم سازنده، بنیان‌گذارهای این آزمایشگاه قبلاً تو یه استارتاپ deep learning تو تورنتو کار می‌کردن که اسمش هم Dessa بود. این تیم از ۲۰۱۲ روی deep learning و بیشتر از هشت ساله روی مدل‌های تولید گفتار کار می‌کنه. فعلاً مدل منتشر نشده و فقط چند تا کلیپ دمو و یه پست وبلاگ ازش بیرون اومده.

بیشتر دستیارهای صوتی امروز سه مرحله دارن: اول صدات به متن تبدیل می‌شه، بعد یه مدل زبانی جواب متنی می‌نویسه، آخرش یه سیستم text-to-speech اونو بلند می‌خونه. به این روش cascaded pipeline می‌گن. تیم Block می‌گه مشکلش اینه که وقتی صدا متن می‌شه، لحن، مکث، آه کشیدن، طعنه و خنده همه از بین می‌رن. یعنی مدل زبانی اصلاً اینا رو «نمی‌شنوه» که بخواد بهشون واکنش نشون بده.

Dessa یه مدل speech-to-speechـه، یعنی صدا می‌گیره و مستقیم صدا تحویل می‌ده. Block می‌گه این مدل از صفر و فقط با صدای مکالمه‌ی آدم‌ها آموزش دیده، بدون هیچ متنی و بدون اینکه زیرش یه مدل زبانی از پیش آموزش‌دیده باشه. ویژگی مهم دیگه‌ش full duplex بودنه، یعنی می‌تونه هم‌زمان گوش بده و حرف بزنه. برای همین وسط حرف طرف «آره» می‌گه، وسط جمله می‌خنده یا تو یه مکث طبیعی وارد بحث می‌شه، به‌جای اینکه ساکت منتظر نوبتش بمونه.

ادعاهای Block اینان: یادگیری زبان از صدها برابر کلمه‌ی کمتر نسبت به یه LLM معمولی، سریع‌تر از real-time روی یه MacBook Pro با چیپ M4 Max یا بهتر، و آموزش روی فقط یه سیستم Nvidia GB200 NVL72. ولی هیچ مقاله‌ی فنی، بنچمارک یا ارزیابی مستقلی منتشر نشده و معماری مدل هم فقط در حد یه نمودار کلی معرفی شده. پس این عددها فعلاً ادعای خود شرکته.

نویسنده می‌گه کیفیت دموها قاطیه. یه جا خنده‌ی مدل خیلی طبیعی وسط جمله می‌شینه که کار سختیه. ولی تو چند تا کلیپ دیگه، مخصوصاً با صدای مردونه، حرف زدن خشک و مصنوعیه، چیزی که بهش «plasticky» می‌گن. به نظر نویسنده Dessa از نظر رویکرد قابل توجهه، چون سیستم‌های full duplex و صوت‌محور هنوز کمیابن. اما از روی همین نمونه‌ها نمی‌شه گفت از ابزارهایی مثل ElevenLabs بهتره.

نکات کلیدی:

• Dessa مدل speech-to-speech آزمایشگاه Block هست و هنوز منتشر نشده.
• فقط با صدای مکالمه‌ی انسانی آموزش دیده، بدون داده‌ی متنی و بدون LLM پایه.
• full duplex هست و می‌تونه هم‌زمان گوش بده و حرف بزنه.
• طبق ادعای Block روی MacBook Pro با M4 Max یا بهتر به‌صورت لوکال اجرا می‌شه و روی یه Nvidia GB200 NVL72 آموزش دیده.
• هیچ‌کدوم از عددهای Block به‌طور مستقل تأیید نشده و کیفیت دموها یکدست نیست.