یک امتیاز بنچمارک، ۲.۷۵ برابر هزینه
هوش مصنوعیClaude Opus 5خلاصهٔ کاملتر
نویسنده با یه ادعای صریح شروع میکنه: اگه GPT-5.6 و Claude Fable 5 رو با امتیاز بنچمارک مقایسه میکنی، داری چیز اشتباهی رو اندازه میگیری. GPT-5.6 تو بیشتر ارزیابیهای هوش حدود یک امتیاز پایینتر میایسته — فاصلهای واقعی ولی کوچیک — در حالی که تو اجرای همون جریانهای عاملی، هزینهٔ هر کار حدود ۲.۷۵ برابر کمتر درمیاد. برای تیمی که ماهی صد هزار کار اجرا میکنه، این دیگه خطای گردکردن نیست، یه تصمیم بودجهایه.
استدلالش اینه که بنچمارکها مدل رو تنها و تو شرایط کنترلشده روی سؤالهایی با جواب درست مشخص میسنجن، ولی کار عاملی این شکلی نیست. مدل باید یه دستور مبهم رو تفسیر کنه، ابزار درست رو انتخاب کنه، جواب بههمریختهٔ یه API رو بخونه، قدم شکستخورده رو با پارامتر جدید تکرار کنه و خروجیهای نصفه رو به یه نتیجهٔ منسجم برسونه. هر کدوم از اینها توکن خرج میکنه.
تو مقاله چند عامل بهعنوان منشأ این فاصلهٔ هزینه فهرست شده. اول مصرف پنجرهٔ متن: Fable 5 برای متنهای خیلی بلند طراحی شده، ولی بیشتر کارهای عاملی تو محدودهٔ ۸ تا ۳۲ هزار توکن زندگی میکنن و تو داری بابت فضایی پول میدی که ازش استفاده نمیکنی. دوم پرگویی خروجی: Fable 5 به توضیح مفصلتر و زنجیرهٔ استدلال بلندتر تمایل داره، که وقتی فقط یه JSON ساختیافته میخوای گرونه.
نکتهای که نویسنده روش تأکید داره اینه که این اثرها تو یه خط لولهٔ دهمرحلهای جمع نمیشن، ضرب میشن. اگه هر مرحله ۳۰ درصد توکن اضافه تولید کنه، هزینهٔ کل ۳۰ درصد بالا نمیره؛ اثرش از طریق تلاشهای مجدد، پردازش خروجی و انباشت متن آبشاری پخش میشه.
سومین عامل نرخ تلاش مجدده که به گفتهٔ نویسنده کمی خلاف شهوده. وقتی مدل خروجی رو کمی بد قالببندی میکنه یا دستور رو بد میفهمه، جریان کاری همون مرحله رو دوباره اجرا میکنه. GPT-5.6 تو پیروی از دستور روی خروجی ساختیافته و فراخوانی تابع قوی عمل کرده و همین نرخ تکرار رو تو جریانهای ابزارمحور پایین میاره. عامل چهارم هم تأخیره: زمان تا اولین توکن تو عاملهای تعاملی هم روی تجربهٔ کاربر اثر داره هم روی هزینهٔ زیرساخت.
مقاله یه چارچوب پنجمرحلهای برای حسابکردن پیشنهاد میده: ردّ توکن هر کار رو از یه نمونهٔ واقعی تخمین بزن، در حجم ماهانه و قیمت هر میلیون توکن ضرب کن، یه ضریب تلاش مجدد اضافه کن، اگه کار کاربرمحوره برای تأخیر عدد بذار، و آخر همهٔ اینها رو مقابل تفاوت واقعی کیفیت خروجی بذار — نه تفاوت بنچمارکی.
نویسنده منکر ارزش Fable 5 نیست و چند حالت رو نام میبره که پرداخت این تفاوت منطقیه: تحلیل حقوقی و انطباق که تشخیص تناقضهای ظریف مهمه، بازبینی کد پرریسک و ممیزی امنیتی، ترکیب پژوهشی پیچیده، و کارهای کمحجم و پرارزش که اونجا تفاوت مطلق هزینه ناچیزه. در مقابل GPT-5.6 رو برای اتوماسیون پرحجم، جریانهای ابزارمحور و تجربههای حساس به تأخیر پیشنهاد میده.
جمعبندیش اینه که انتخاب مدل برای کار عاملی یه مسئلهٔ بهینهسازی هزینه در برابر کیفیته، نه یه رتبهبندی — و بهترین رویکرد تو عمل معمولاً تکمدلی نیست، بلکه مسیردهی هر مرحله به مدلی که به همون مرحله میخوره.
نکات کلیدی:
- فاصلهٔ یکامتیازی بنچمارک تو کارهای رایج کسبوکار معمولاً به چشم نمیاد
- هزینهٔ هر کار حدود ۲.۷۵ برابره و عدد عملیاتی مهمتریه
- پرگویی خروجی، نرخ تلاش مجدد و تأخیر تو خط لولهٔ چندمرحلهای ضرب میشن
- Fable 5 برای تحلیل حقوقی، بازبینی کد پرریسک و کارهای کمحجم و پرارزش صرف میکنه
- مقایسه رو روی نمونهٔ واقعی کارهای خودت انجام بده، نه روی بنچمارک مصنوعی
