وقتی معیار نتیجهمحور باشه، مدلهای مرزی رد میشن
هوش مصنوعیخلاصهٔ کاملتر
نویسنده مقاله رو با یه حرف تند شروع میکنه: دیگه کسی بنچمارکهای آزمایشگاههای هوش مصنوعی رو باور نمیکنه. به گفتهٔ اون، همین یه ماه اخیر DoorDash و Snowflake هر دو بنچمارکهای خودشون رو از روی گردشکارهای واقعیِ داخلی و مشتریهاشون ساختن، و خودش هم همین کار رو با کلاینتها میکنه. برای نشوندادن منظورش، یه بنچمارک واقعی روی سایتهای کسبوکار خودش راه انداخته.
آزمایش این بود: به Fable 5 و Opus 4.8 یه قالب، سایت قبلی نویسنده و یه هدف نتیجهمحور داد — سایت رو بازسازی کنین تا نرخ تبدیل بهتر بشه. نویسنده میگه معیارهای نتیجهمحور برای هر گردشکار ایجنتی ضروریه، وگرنه چیزی که ساخته میشه فقط با حس و حال سنجیده میشه. نتیجه از نظر اون شکست کامل هر دو مدل بود.
نکتهٔ اصلی نویسنده اینه که بیشتر شرکتها هنوز AI رو با معیارِ «مصنوع» (artifact) میسنجن، نه نتیجه. هر دو سایت به عنوان یه مصنوع فنی کار میکردن ولی به عنوان یه مصنوع کسبوکاری بیفایده بودن و روی هدفِ بالا بردن نرخ تبدیل نمرهٔ صفر گرفتن. بزرگترین دلیلش این بود که هیچکدوم هیچ ابزار ردیابیای برای اندازهگیری نرخ تبدیل نذاشتن؛ در حالی که به گفتهٔ نویسنده این کار جزو الفبای طراحی وبه (کلیک روی دکمه، ثبت رویداد) — البته اگه اصلاً بفهمی هدف یه سایت چیه.
نویسنده میگه مجبور شد حتی چیزهای پایه مثل نقشهٔ سایت و متادیتای سئو رو دونهدونه بهشون بگه، صفحهها هیچ امنیتی نداشتن، و Fable 5 چند بار از پیداکردن مشکل امنیتی و حتی یه بار از ساختن نسخهٔ امنتر سر باز زد. نتیجهگیری تندش اینه که هر چی بیشتر زمینه و جزئیات به مدل بدی، اون همه «استدلال پیشرفته» کمتر اهمیت پیدا میکنه — تا جایی که یه مدل کوچیکتر مثل Gemma 4 که کاملاً محلی روی سختافزار خودش اجرا میشه هم به همون خوبی کار کرده، با هزینهٔ توکن صفر و بدون فرستادن داده بیرون از فایروال.
نویسنده این بحث رو به تصویر بزرگتر وصل میکنه. اون به ادعای مدیرعامل Palo Alto Networks که گفته تقاضا برای AI «بینهایته» میتازه و مثال میزنه که Eli Lilly، یعنی داروسازی با یکی از پیشرفتهترین پشتههای AI، عمداً از مدلهای مرزی برای تحقیق استفاده نمیکنه چون بنچمارک نتیجهمحورش نتیجهٔ خوبی نداده و به جاش رفته سراغ مدلهای کوچیکتر و اختصاصی که روی دادهٔ خودش تنظیم شدن.
حرف کلیدی مقاله اینه که مدلها و پلتفرمهای ایجنتی رو با وعدهٔ «تحویل نتیجهٔ کسبوکاری» میفروشن ولی نتیجه تحویل نمیدن؛ اگه واقعاً میدادن، باید به سمت قیمتگذاری نتیجهمحور میرفتن نه مدل مصرفی و اشتراکی. نویسنده یه سؤال Alex Karp رو نقل میکنه که چرا این آزمایشگاهها اگه ارزش واقعی تولید میکنن به جای فروش توکن، سهمی از خودِ نتیجه رو نمیخوان. توصیهش به مدیرهای ارشد اینه که AI رو به عنوان خودِ هدف نبینن و برگردن به همون نتیجهای که مدل کسبوکارشون قراره درآمدزایی کنه.
نکات کلیدی:
- نویسنده میگه بنچمارکهای آزمایشگاههای AI اعتبارشون رو از دست دادن و شرکتها دارن بنچمارک واقعیِ خودشون رو میسازن
- Fable 5 و Opus 4.8 تو بازسازی سایت برای نرخ تبدیل نمرهٔ صفر گرفتن چون هیچ ابزار ردیابی نذاشتن
- هر چی زمینهٔ بیشتری بدی، برتریِ مدلهای مرزی کمتر میشه؛ مدل محلی Gemma 4 با هزینهٔ صفر به همون خوبی کار کرد
- Eli Lilly به جای مدلهای مرزی رفته سراغ مدلهای کوچیکتر و اختصاصی روی دادهٔ خودش
- پیام اصلی: AI رو با نتیجهٔ کسبوکاری بسنج، نه با مصنوعی که خوب به نظر میرسه
