‏سونت ۵.۵ کلود: نزدیک به اوپوس، ولی پرخرج

سایت Artificial Analysis که مدل‌ها رو با یه مجموعه بنچمارک مشترک می‌سنجه، نوشته کلود سونت ۵.۵ با بالاترین تنظیم تلاش (max effort یعنی حالتی که مدل بیشترین زمان و توکن رو صرف فکر کردن می‌کنه) امتیاز ۵۶ گرفته و رتبهٔ دوم شاخص هوش رو برداشته. این یعنی ۱۸ نمره جهش نسبت به سونت ۵ و فقط ۲ نمره فاصله تا اوپوس ۵.۵.

جایی که این مدل واقعاً می‌درخشه کارهای agentic ترمیناله، یعنی حالتی که مدل خودش دستور می‌زنه و خروجی رو می‌خونه تا یه کار رو تا آخر ببره. تو Terminal-Bench 4.0 امتیاز ۶۴٪ گرفته، بالاتر از ۶۰٪ اوپوس ۵.۵ و GPT-6 Astra. تو بنچمارک‌های کار دانشی مثل AA-Briefcase و GDPval-AA هم عملاً هم‌سطح اوپوس ۵.۵ ایستاده.

ولی این عملکرد مجانی به دست نیومده. به گفتهٔ Artificial Analysis این مدل برای هر تسک شاخص هوش حدود ۱۹۳ هزار توکن خروجی می‌سوزونه که سنگین‌ترین مصرفیه که تا حالا اندازه گرفتن: حدود ۶۰٪ بیشتر از اوپوس ۵.۵ و نزدیک ۷ برابر GPT-6 Astra. قیمت هر میلیون توکن همون ۲ دلار ورودی و ۱۰ دلار خروجی مونده، ولی چون توکن بیشتری خرج می‌شه، هزینهٔ هر تسک به ۷.۶ دلار می‌رسه.

نویسنده‌ها می‌گن با این حساب سونت ۵.۵ روی مرز بهینهٔ هوش به ازای هزینه نمی‌شینه: تو تلاش‌های بالا اوپوس ۵.۵ جلوتره و تو تلاش‌های پایین‌تر پیکربندی‌های GPT-6 Astra و Sol همون کیفیت رو ارزون‌تر می‌دن. بهترین نقطه‌ش تنظیم high هست که با هزینهٔ تقریباً برابر، خیلی کم از GPT-6 Sol عقب می‌مونه. تو AA-Omniscience هم دقت دانشی ۵۴٪ در برابر ۶۶٪ اوپوسه، هرچند نرخ توهمش پایین‌تره (۴۷٪ مقابل ۵۹٪).

یه نکتهٔ مهم هم هست: این تست‌ها روی نسخهٔ پیش از انتشار انجام شده که آنتروپیک بعداً توش یه باگ پیدا کرده؛ باگی که جواب‌های مربوط به structured output رو (یعنی وقتی از مدل می‌خوای خروجی رو تو قالب مشخصی مثل JSON بده) خراب می‌کرده. این باگ تو نسخهٔ عمومی رفع شده و قراره تست‌های مرتبط دوباره اجرا بشه.

نکات کلیدی:

• امتیاز ۵۶ در شاخص هوش Artificial Analysis، رتبهٔ دوم بعد از Opus 5.5 با ۵۸
• ۶۴٪ در Terminal-Bench 4.0 و ۵۳٪ در Terminal-Bench-Science
• حدود ۱۹۳ هزار توکن خروجی به ازای هر تسک، سنگین‌ترین مصرف اندازه‌گیری‌شده
• قیمت ۰.۲/۲/۱۰ دلار به ازای هر میلیون توکن کش/ورودی/خروجی، بدون تغییر نسبت به Sonnet 5
• پنجرهٔ کانتکست ۱ میلیون توکن و پنج سطح تلاش از low تا max