مدل زیر ایجنت صوتی‌ات عوض شد؛ حالا چطور تست کنیم؟
هوش مصنوعی
تستخلاصهٔ کامل‌تر
تو سه هفته‌ی اخیر سه مدل صوتی بزرگ اومدن: Grok Voice 3.0 تو ۱۴ اکتبر، Amazon Nova 2.5 Sonic تو ۵ اکتبر با همون قیمت Nova 2 Sonic، و ElevenLabs v4 و v4 Turbo تو ۲۸ سپتامبر. طبق یادداشت انتشار xAI، alias یعنی اسم شناوری مثل grok-voice-latest حالا به نسخه‌ی 3.0 اشاره می‌کنه. یعنی هر جلسه‌ای که روی alias بوده خودکار ارتقا پیدا کرده. نویسنده‌ی این مقاله از تیم Roark می‌گه سؤال اصلی این نیست که مدل جدید رو بیاری یا نه، اینه که قبل از مشتری‌ها ثابت کنی چیزی خراب نشده.
مرجع عمومی فعلی Artificial Analysis Speech to Speech Indexه که چهار بخش رو با وزن برابر حساب می‌کنه: Big Bench Audio، τ-Voice (یعنی تست کارهای ایجنتی تو خدمات مشتری هواپیمایی، خرده‌فروشی و مخابرات)، Arena Preference و Task Success Rate. Grok Voice 3.0 با امتیاز ۸۶.۹ اول شده، در حالی که نسخه‌ی 2.0 امتیاز ۸۱.۳ داشت. ولی به گفته‌ی نویسنده، اگه ایجنتت مثلاً بیمه یا نوبت دندون‌پزشکی رو مدیریت می‌کنه، تقریباً هیچ‌کدوم از تماس‌هات تو این بنچمارک نیست.
سه جایی که تعویض مدل نیش می‌زنه: چرخش alias، که هر جای کد یا نوت‌بوکی که latest می‌خونه بی‌صدا مدل رو عوض می‌کنه. ارتقای هم‌قیمت، که مجانی به نظر می‌رسه ولی مدلی که تو صدا زدن ابزار بهتره ممکنه پرحرف‌تر یا کندتر باشه. و ادعای خود سازنده: Grok در کل اوله، ولی GPT-Live-1 روی τ-Voice با ۷۴.۵ درصد در برابر ۷۱.۶ درصد هنوز جلوتره.
پیشنهاد نویسنده یه روند هشت‌مرحله‌ایه. اول همه‌ی جاهایی که مدل صوتی استفاده میشه رو فهرست کن و ببین کدوم alias شناوره. بعد همه‌ی مسیرهای production رو روی نسخه‌ی مشخص قفل کن. بعد ۲۰ تا ۵۰ سناریو بساز که تماس‌های پرتکرار، مسیرهای ارجاع به اپراتور و مرحله‌های احراز هویت رو پوشش بده. هر سناریو هم یه persona (یعنی شخصیت تماس‌گیرنده با لهجه، سرعت حرف زدن و صدای پس‌زمینه) و یه خروجی مورد انتظار داره.
بعد تست رو روی تماس تلفنی واقعی (PSTN) اجرا کن، نه یه WebSocket تمیز. چون codec و jitter رفتار مدل رو عوض می‌کنن. امتیازدهی هم باید روی خود صدا باشه، نه فقط متن: قطع کردن حرف تماس‌گیرنده، تلفظ اشتباه یا ۲.۸ ثانیه سکوت تو متن پیدا نیست. تماس‌هایی که ماه پیش خراب شدن رو روی مدل جدید دوباره پخش کن. بعد مدل رو روی ۵ تا ۱۰ درصد ترافیک بذار با آستانه‌هایی که خودکار برش گردونن. آخرش نسخه رو قفل کن ولی سناریوها رو مرتب اجرا کن، چون فاصله‌ی Grok Voice 2.0 تا 3.0 فقط چند ماه بود.
برای کسی که همین الان باید واکنش نشون بده، نسخه‌ی ۴۸ ساعته هم هست: aliasهای latest رو پیدا کن و قفلشون کن، برای سه نوع تماس پرتکرار هر کدوم پنج سناریو بنویس، این ۱۵ سناریو و ده تماس بدِ دو هفته‌ی اخیر رو روی مدل فعلی و مدل جدید اجرا کن، و اگه مدل جدید برد، با ۱۰ درصد ترافیک و یه هفته نظارت جلو برو. البته این مقاله رو خود Roark نوشته و ابزارش رو هم برای این کار معرفی می‌کنه.
نکات کلیدی:
- Grok Voice 3.0 با امتیاز ۸۶.۹ اول Speech to Speech Index شده و alias grok-voice-latest خودکار بهش اشاره می‌کنه
- Nova 2.5 Sonic با همون قیمت Nova 2 Sonic عرضه شده، ولی هم‌قیمت بودن یعنی بی‌خطر بودن نیست
- GPT-Live-1 روی τ-Voice با ۷۴.۵ درصد هنوز از Grok با ۷۱.۶ درصد جلوتره
- تو production همیشه نسخه‌ی مشخص رو قفل کن و aliasها رو برای محیط توسعه بذار
- مجموعه‌ی تست ۲۰ تا ۵۰ سناریو با persona تعریف‌شده و تست روی تماس تلفنی واقعی پیشنهاد شده
- انتشار تدریجی روی ۵ تا ۱۰ درصد ترافیک با آستانه‌ی برگشت خودکار
