گرگیاس بنچمارک رقبا رو عمومی کرد
هوش مصنوعیخلاصهٔ کامل‌تر
جیسون لمکین تو سایت SaaStr می‌گه هر شرکتی که ایجنت AI می‌فروشه باید عمیق‌ترین ارزیابی رقابتی (eval، یعنی تست محصول زنده کنار رقبا با یه معیار نوشته‌شده) رو منتشر کنه. به گفتهٔ اون خریدار امروز می‌تونه چند تا ایجنت رو تو یه بعدازظهر کنار هم امتحان کنه، پس اسلاید «ما ۳ برابر سریع‌تریم» دیگه کسی رو قانع نمی‌کنه.
گرگیاس که حدود ۸۰ درصد از ۱۰۰ میلیون دلار درآمد سالانه‌ش از پشتیبانی AI برای برندهای ecommerce میاد، یه بنچمارک عمومی منتشر کرده: ۸۳۵۶ مکالمهٔ زنده، ۱۸ فروشنده، بیش از ۲۱۲ فروشگاه واقعی، آپدیت هفتگی و کل هارنس تست روی گیت‌هاب. همون مکالمهٔ ۱۰ مرحله‌ای، از یه سؤال ساده تا سبد خرید و ارسال و قانون مرجوعی، برای همهٔ رقبا اجرا میشه.
نکتهٔ اصلی اینه که نتیجه‌ها همه به نفع خودش نیست. تو پشتیبانی گرگیاس اول شده ولی Yuma نرخ حل مکالمهٔ بالاتری داره، یعنی همون معیاری که خریدار پشتیبانی بیشتر از همه بهش نگاه می‌کنه. تو بخش پیش از فروش هم Envive با امتیاز ترکیبی ۷۲ به ۶۵ جلوتره؛ کیفیت جواب گرگیاس تو این بخش بهترینه (۷۶) ولی میانگین ۱۸.۴ ثانیه جواب می‌ده در برابر ۷.۹ ثانیهٔ Envive.
حتی وزن‌دهی رو طوری انتخاب کرده که خودش رتبهٔ اول رو از دست بده: تو پیش از فروش سرعت ۲۵ درصد امتیاز رو می‌گیره، تو پشتیبانی فقط ۱۰ درصد. اگه پیش از فروش با وزن پشتیبانی حساب می‌شد، گرگیاس با ۷۴.۳ اول می‌شد. دلیلش اینه که خریدارِ فروشگاه وقتی جواب دیر بیاد می‌ره. قاضیِ AI هم قبل از امتیازدهی اسم فروشنده و فروشگاه رو نمی‌بینه و یه بازبینی مخالف باید حداقل ۹۰ درصد با نتیجهٔ اول موافق باشه.
نویسنده می‌گه دلیل مهم دیگه برای انتشار اینه که خیلی از انتخاب‌های نرم‌افزاری این روزها با یه سؤال به Claude یا ChatGPT شروع میشه. یه ایجنت می‌تونه معیار نسخه‌دار، وزن‌های عمومی و کد باز رو بخونه و بهش ارجاع بده، ولی از یه PDF پشت فرم عملاً هیچ چیزی درنمیاره. خودِ گزارش گرگیاس فعلاً تو robots.txt جلوی خواننده‌های خودکار رو گرفته که به گفتهٔ نویسنده باید درستش کنه.
نکات کلیدی:
- ۸۳۵۶ مکالمهٔ زنده روی بیش از ۲۱۲ فروشگاه واقعی، ۱۸ فروشنده، تست روزانه و انتشار هفتگی
- تو پشتیبانی، Yuma نرخ حل مکالمهٔ بالاتری از گرگیاس داره و همین روی صفحهٔ خود گرگیاس اومده
- تو پیش از فروش، Envive ۷۲ در برابر ۶۵ جلوتره؛ ۷.۹ ثانیه در برابر ۱۸.۴ ثانیه
- ۲۸ درصد جواب‌های خریدِ گرگیاس بیشتر از ۲۰ ثانیه طول می‌کشه
- هارنس تست تو ریپوی gorgias/ai-agent-benchmark بازه و هر کسی می‌تونه دوباره اجراش کنه
