‏Dessa: مدل صوتی Block که فقط با گوش دادن حرف زدن یاد گرفت

تیم تحقیقاتی کوچیکی توی Block (شرکت Jack Dorsey) مدلی به اسم Dessa معرفی کرده که یه مدل speech-to-speech واقعیه، یعنی صدا می‌گیره و مستقیم صدا تحویل می‌ده. نکتهٔ اصلی اینه که از صفر و فقط روی مکالمه‌های انسانی آموزش دیده: نه متن، نه مدل pretrained. به گفتهٔ سازنده‌ها، تا جایی که خبر دارن این اولین AIیه که فقط از گفتار آدم‌ها یاد گرفته و می‌شه باهاش یه گفتگوی زنده و طبیعی داشت.

Dessa یه مدل full-duplex هست، یعنی مثل آدم همزمان گوش می‌ده و حرف می‌زنه. یاد گرفته کی وسط حرف بپره و کی backchannel کنه (یعنی همون «آره!»، «فهمیدم»، «اوه» که نشون می‌ده داره گوش می‌ده). inference سریع‌تر از real-time اجرا می‌شه، پس مکث ناجوری نداره. سازنده‌ها می‌گن روی MacBook Pro با M4 Max یا بالاتر به‌صورت لوکال اجرا می‌شه.

نویسنده می‌گه مشکل بیشتر voice AIهای فعلی اینه که صدا رو به متن تبدیل می‌کنن و کلی اطلاعات رو دور می‌ریزن: احساس، کنایه، خنده، آه کشیدن از سر کلافگی یا صدایی که از غم می‌لرزه. Dessa همهٔ اینا رو مستقیم می‌شنوه و خودش هم بیانشون می‌کنه. توی نمونه‌های منتشرشده، مثلاً وسط جمله به یه حرف خنده‌دار می‌خنده، اگه بگی بلندتر حرف بزن صداش بلندتر می‌شه، و وقتی طرف اسم یه فیلم یادش نمیاد جمله‌شو کامل می‌کنه.

به گفتهٔ تیم، Dessa با صدها برابر کلمهٔ کمتر از LLMها زبان یاد گرفته. ولی کارش سخت‌تر بوده، چون گفتار هیچ‌وقت دقیقاً تکرار نمی‌شه و یه کلمهٔ گفته‌شده هزاران برابر بیشتر از همون کلمه به‌صورت متن حجم داره. با این حال کل آموزش فقط روی یک NVIDIA GB200 NVL72 انجام شده.

تیم سه دلیل برای ساختش میاره: کنجکاوی، فهم بهتر بین آدم و AI، و ایمنی. استدلالشون اینه که AIها هر روز قوی‌تر و مستقل‌تر می‌شن ولی هنوز احساس توی صدای ما رو تقریباً نمی‌شنون؛ مثلاً اگه کسی درد شدیدی داشته باشه، voice AI متوجه نمی‌شه. این تیم از اعضای سابق استارتاپ Dessa در تورنتو تشکیل شده و برای همین هم به یه گروه کوچیک از پژوهشگرهای AI safety دسترسی زودهنگام می‌دن تا ریسک‌های پیش‌بینی‌نشده رو پیدا کنن.

نکات کلیدی:

• Dessa فقط از صدای مکالمه‌های انسانی آموزش دیده، بدون هیچ متن یا مدل pretrained
• مدل full-duplex هست و همزمان گوش می‌ده و حرف می‌زنه
• روی MacBook Pro با M4 Max یا بالاتر لوکال اجرا می‌شه و inference سریع‌تر از real-time داره
• کل آموزش روی یک دستگاه NVIDIA GB200 NVL72 انجام شده
• پژوهشگرهای AI safety می‌تونن برای دسترسی زودهنگام اقدام کنن