بنچمارکهای هوش مصنوعی حالا دو بُعدی شدن
هوش مصنوعیClaude Sonnet 4.6خلاصهٔ کاملتر
نویسنده (Tomasz Tunguz) تو این یادداشت میگه مایکروسافت یه معیار تازه به کارت معرفی مدلش اضافه کرده که احتمالاً بهزودی استاندارد میشه: میانگین مصرف توکن. تو ردیف اول اون کارت، مدل مایکروسافت روی بنچمارک SWE-Bench Verified به امتیاز ۷۱.۶ میرسه، اونم با حدود یکسوم توکنی که Claude Haiku 4.5 مصرف میکنه.
به گفتهٔ نویسنده، حالا بنچمارکها روی دو بُعد سنجیده میشن: عملکرد کلی، و هزینهای که برای رسیدن به اون سطح از هوش لازمه. این یه تغییر مهمه، چون تا الان همه فقط به امتیاز خام نگاه میکردن.
نویسنده معتقده این اتفاق یه نشونهٔ دیگه از پایان عصر یارانه و «توکنسوزی» (tokenmaxxing) و عملکرد بههر قیمتیه. حتی ارزشمندترین شرکتهای دنیا هم نمیتونن برای هر کاربردِ قابلتصوری، هزینهٔ پیشرفتهترین هوش رو بپردازن.
برای نمونه، تو این یادداشت اومده که Uber بعد از اینکه تو چهار ماه بودجهش رو تموم کرد، سقفی برای خرج هوش مصنوعی کارمندهاش گذاشت؛ و Salesforce سیصد میلیون دلار خرج توکنهای Anthropic میکنه و استخدام مهندس رو متوقف کرده. اینا نشون میده هزینه داره تبدیل به دغدغهٔ اصلی میشه.
به گفتهٔ نویسنده، این بنچمارک دوبُعدی به تنها سوال واقعی خریدار جواب میده: هر دلار چقدر هوش بهم میده؟ مثلاً طبق دادهٔ Artificial Analysis، مدلهای GPT 5.5 و Claude Opus 4.8 روی شاخص هوش حدود ۶۰ امتیاز میگیرن که خیلی به هم نزدیکه، ولی اجرای اون شاخص روی GPT 5.5 حدود ۳٬۳۵۷ دلار و روی Opus 4.8 حدود ۴٬۶۸۵ دلار خرج برمیداره؛ یعنی جواب یکسان، ۴۰٪ گرونتر.
نتیجهگیری نویسنده اینه که از این به بعد شرکتهای سازندهٔ مدل باید روی هر دو بُعد رقابت کنن، و لایهٔ اپلیکیشن یه پله بالاتر، روی «دلار بهازای نتیجه» رقابت میکنه: اینکه یه تیکت بستهشده، یه PR ارسالشده یا یه پروندهٔ پشتیبانی حلشده واقعاً چقدر هزینه برمیداره. هر لایه از این پشته باید همونطوری قیمتگذاری کنه که مشتری فکر میکنه: بهازای نتیجه، نه بهازای توکن.
نکات کلیدی:
- مایکروسافت معیار «میانگین مصرف توکن» رو به کارت معرفی مدلش اضافه کرد
- بنچمارکها حالا دو بُعدیان: عملکرد و هزینهٔ رسیدن به اون عملکرد
- نویسنده میگه عصر یارانه و توکنسوزی برای بالاترین عملکرد داره تموم میشه
- نمونهها: Uber سقف خرج هوش گذاشت و Salesforce استخدام مهندس رو فریز کرد
- سوال اصلی خریدار: هوش بهازای هر دلار چقدره؟ — قیمتگذاری باید بهازای نتیجه باشه، نه توکن
