‏ElevenLabs مدل‌های صدای Eleven Realtime رو معرفی کرد

ElevenLabs تو صفحهٔ معرفی محصولش از Eleven Realtime رونمایی کرده، یه دستهٔ جدید از مدل‌های speech-to-speech (یعنی مدلی که صدای کاربر رو می‌گیره و مستقیم جواب صوتی می‌ده) برای ساختن ایجنت‌های صوتی. به گفتهٔ خود شرکت، تشخیص گفتار، turn-taking (یعنی اینکه کی نوبت کاربره و کی نوبت ایجنت)، LLM و صدا همه با هم به‌صورت یکپارچه تنظیم شدن. این مدل‌ها هم تو ElevenAgents هستن و هم از طریق Realtime API.

دو نسخه داره. v1 Mini برای گفتگوهای طبیعی و پرحس مثل دستیار، معلم خصوصی و شخصیت‌های تعاملی ساخته شده و طبق اعداد خود ElevenLabs زمان رسیدن به اولین صدا ۶۲۰ میلی‌ثانیه‌ست، تو Full-Duplex-Bench نمرهٔ ۹۵.۸ درصد گرفته و تو Speech Agent Arena امتیاز Elo ۹۸۸ داره. v1 Max برای کارهایی مثل پشتیبانی مشتری و ارزیابی مشتری بالقوه‌ست که جواب دقیق و استدلال لازم دارن. این نسخه می‌تونه وسط مکالمه tool صدا بزنه، زمان اولین صداش ۵۷۰ میلی‌ثانیه‌ست، تو Big Bench Audio ۹۸.۸ درصد و نرخ موفقیت تسکش ۸۷.۱ درصد بوده.

مهم‌ترین نکته برای برنامه‌نویس‌ها اینه که Realtime API این سرویس با Realtime API اوپن‌ای‌آی سازگاره. یعنی فقط endpoint و اسم مدل رو عوض می‌کنی و بقیهٔ کد سر جاش می‌مونه. همهٔ eventهای سمت کلاینت و سرور همون شکلی میان که از OpenAI میان، پس handlerها و لاگ‌ها و ابزارهایی که ساختی همچنان کار می‌کنن. نمونهٔ خود مقاله با SDK @openai/agents-realtime اینه که transport رو به آدرس ElevenLabs وصل می‌کنی:

const transport = new OpenAIRealtimeWebSocket({
  url: "wss://api.elevenlabs.io/v1/convai/realtime",
});

const session = new RealtimeSession(agent, {
  transport,
  model: "eleven_realtime_v1_mini",
});

این صفحه به چیزهای دیگه‌ای هم اشاره می‌کنه: بیش از ۱۷٬۵۰۰ صدای آماده، پشتیبانی از بیش از ۹۰ زبان، امکان دیپلوی یه ایجنت روی تلفن و ویجت وب و WhatsApp بدون یکپارچه‌سازی جدا، و داشبوردی که همهٔ مکالمه‌ها رو برای ممیزی لاگ و قابل جستجو نگه می‌داره. از نظر امنیتی هم گواهی‌هایی مثل SOC 2 Type II، ISO 27001، HIPAA و PCI DSS Level 1 داره و حالت‌های EU Data Residency و Zero Retention هم در دسترسه.

نکات کلیدی:

• Eleven Realtime دو نسخه داره: v1 Mini برای گفتگوی طبیعی و v1 Max برای کارهای پیچیده.
• زمان رسیدن به اولین صدا برای v1 Mini ۶۲۰ و برای v1 Max ۵۷۰ میلی‌ثانیه‌ست.
• API با Realtime API اوپن‌ای‌آی سازگاره و فقط endpoint و اسم مدل عوض می‌شه.
• اسم مدل نسخهٔ کوچیک تو API برابر eleven_realtime_v1_mini هست.
• بیش از ۹۰ زبان و ۱۷٬۵۰۰ صدا پشتیبانی می‌شه.