کم کردن reasoning effort مدل‌ها چقدر به نتیجه ضربه می‌زنه؟
هوش مصنوعیClaude Opus 5.5خلاصهٔ کامل‌تر
بیشتر مدل‌های frontier یه تنظیم به اسم reasoning effort دارن، یعنی اینکه مدل قبل از جواب دادن چقدر فکر کنه. هرچی این عدد بالاتر باشه، هزینهٔ هر اجرا هم بیشتر میشه. تیم Vals AI که معمولاً مدل‌ها رو روی بالاترین سطح تست می‌کنه، این بار بهترین مدل هفت آزمایشگاه رو روی هشت بنچمارک Vals Index با سه سطح اجرا کرده: پایین‌ترین، یه سطح وسط، و سطحی که روی leaderboard استفاده می‌کنن.
نتیجهٔ اصلی اینه که کم کردن effort هزینه رو خیلی بیشتر از امتیاز کم می‌کنه. مثلاً Claude Opus 5.5 تو پایین‌ترین سطح ۸۰ درصد امتیازش رو با فقط ۱۶ درصد هزینه نگه داشته. Grok 4.7 هم ۸۶ درصد امتیاز رو با ۱۶ درصد هزینه گرفته. Gemini 4 Argon تقریباً هیچی از دست نداده (۹۹ درصد امتیاز) ولی صرفه‌جویی‌ش هم کم بوده (۸۴ درصد هزینه). جالب‌تر اینکه سطح وسط Gemini یه کم از سطح leaderboardش بهتر شده و فقط ۷۸ درصد هزینه داشته.
از ۵۶ ترکیب مدل و بنچمارک، تو ۲۲ مورد یه تنظیم ارزون‌تر همون امتیاز سطح leaderboard رو گرفته. یعنی تو این موارد، پول اضافه چیزی به نتیجه اضافه نکرده. البته هیچ تنظیم ارزون‌تری به‌طور معنادار بهتر نبوده و ۳۳ مورد به‌طور معنادار بدتر بودن. روی کل Vals Index هم هیچ مدلی با پایین‌ترین سطحش به امتیاز leaderboard نرسیده.
بعد تیم یه سؤال دیگه پرسیده: اگه برای هر تسک بهترین سطح رو جدا انتخاب کنیم چی میشه؟ حتی با دونستن نتیجه‌ها از قبل، میانه‌ش فقط ۶ امتیاز بیشتر شده، اونم با ۶۴ درصد هزینهٔ leaderboard. در حالی که استفاده از پایین‌ترین سطح برای همه‌چی فقط ۲۹ درصد هزینه داره. به گفتهٔ نویسنده‌ها، یه سیستم واقعی که قبل از دیدن نتیجه تصمیم می‌گیره، حتی کمتر از این ۶ امتیاز سود می‌کنه.
اثر فکر کردن بیشتر هم بین بنچمارک‌ها خیلی فرق داشته. Legal Research با میانهٔ ۱۹.۲ امتیاز بیشترین سود رو برده و بعدش Code Migration با ۱۵.۶ و Terminal-Bench 4 با ۱۲.۱ بودن. ولی EMB، HLAB و Finance Agent 2.1 هرکدوم کمتر از ۶ امتیاز بهتر شدن. نویسنده‌ها خودشون می‌گن تست‌ها روی حدود نصف تسک‌ها بوده، پس نتیجه‌ها نویز بیشتری دارن و ممکنه یه تفاوت کوچیک واقعی رو نبینن.
نکات کلیدی:
- تست روی ۷ مدل، ۸ بنچمارک Vals Index و ۳ سطح reasoning effort انجام شده.
- Claude Opus 5.5 با پایین‌ترین سطح ۸۰٪ امتیاز رو با ۱۶٪ هزینه نگه داشته.
- تو ۲۲ از ۵۶ مورد، تنظیم ارزون‌تر همون امتیاز سطح بالا رو گرفته.
- انتخاب بهترین سطح برای هر تسک حداکثر ۶ امتیاز اضافه می‌کنه، با ۶۴٪ هزینه.
- Legal Research با +۱۹.۲ بیشترین و EMB و HLAB با +۳.۳ کمترین سود رو از فکر بیشتر بردن.
