‏کلود ۵.۵: باهوش، گیج‌کننده و خیلی گرسنه

آنتروپیک تو فاصلهٔ یه هفته دو مدل از سری ۵.۵ رو منتشر کرد و نویسنده می‌گه بحث تو ردیت و هکرنیوز خیلی سریع از امتیاز بنچمارک‌ها رد شد و رفت سراغ سوال‌های عملی‌تر: کدوم مدل رو برداریم، چرا کارهای امنیتی بلاک می‌شن و لیمیت مصرف کی ریست می‌شه. Opus 5.5 روز ۲۲ سپتامبر اومد و با امتیاز ۵۸ صدر شاخص Intelligence Index مؤسسهٔ Artificial Analysis (یه لیدربورد مستقل) رو گرفت.

قیمت Opus ۲۰ درصد کم شد و رسید به ۴ دلار ورودی و ۲۰ دلار خروجی برای هر میلیون توکن، با کش‌رید (خوندن از کش) ۲۰ سنت؛ یعنی هر توکنش ۶۰ درصد ارزون‌تر از Fable 5.1 درمیاد و روی بنچمارک‌های ایجنتیک هم جلوتره. تسترهای اولیه از مهاجرت ۶۸۰ هزار خط کد در کمتر از یه روز گفتن. Sonnet 5.5 یه هفته بعد با همون قیمت Sonnet 5، کانتکست یک میلیون توکنی و پنج سطح effort از low تا max اومد.

حرف اصلی نویسنده اینه که قیمت توکن می‌گه یه کلمه چند درمیاد، ولی مصرف توکن می‌گه مدل برای تموم کردن کار چند کلمه لازم داره. Sonnet 5.5 تو حالت max حدود ۱۹۳ هزار توکن خروجی برای هر تسک شاخص تولید می‌کنه، بالاترین عددی که Artificial Analysis تا حالا دیده: حدود ۶۰ درصد بیشتر از Opus 5.5 و نزدیک هفت برابر GPT-6 Astra. هزینهٔ هر تسک می‌رسه به ۷.۶۰ دلار، یعنی گرون‌تر از Opus 5.5 تو max با ۵.۹۸ دلار.

تو سطح‌های پایین‌تر ورق برمی‌گرده و Sonnet هر ردیف جز max رو می‌بره. CodeRabbit روی ریویوی پول‌ریکوئست اندازه گرفت: زمان از ۹:۵۵ رسید به ۵:۲۷ و هزینه از ۱.۱۶ به ۰.۴۷ دلار، با ۲۴ درصد کامنت کمتر. ولی Opus 5.5 هنوز ۸ تا ۱۰ باگ از ۱۳ باگ سخت رو می‌گیره در برابر ۶ تای Sonnet، پس تغییرهای پرخطر رو با Opus می‌کنن. ComputingForGeeks هم دید سطح high تقریبا دو برابر medium توکن می‌خوره بدون اینکه خروجی بهتر بشه.

Sonnet 5.5 اولین مدل سری Sonnet هست که سیفگاردهای سایبری داره: درخواستی که «پرخطر» تشخیص داده بشه، جوابش رو Sonnet 5 می‌ده. آنتروپیک اینو بعد از این اضافه کرد که Sonnet 5.5 تو ۴۶.۱ درصد سناریوهای حملهٔ شبیه‌سازی‌شده موفق شد، در برابر ۰.۷ درصد Sonnet 5. سیستم‌کارد خودش هم گفته انتظار ریفیوز (رد شدن درخواست) بیشتر داشته باشین، حتی روی کار امنیتی بی‌خطر. ارتقا به Sonnet 5.5 تغییر کد هم می‌خواد، چون چند تنظیم Sonnet 5 رو دیگه قبول نمی‌کنه.

نکات کلیدی:

• Opus 5.5: امتیاز ۵۸، قیمت ۴ و ۲۰ دلار بر میلیون توکن ورودی/خروجی
• Sonnet 5.5: امتیاز ۵۶، قیمت ۲ و ۱۰ دلار، کانتکست یک میلیون توکن
• Sonnet تو max: ۱۹۳ هزار توکن خروجی و ۷.۶۰ دلار هر تسک؛ Opus تو xhigh همون ۵۶ رو با ۳.۴۶ دلار
• Terminal-Bench 4.0: Sonnet 5.5 با ۷۰.۶٪، Opus 5.5 با ۶۶.۴٪، Sonnet 5 با ۱۰.۳٪
• پیشنهاد نویسنده: کار روزمره با Sonnet روی medium، مسئله‌های سخت با Opus روی xhigh، کار امنیتی با Sonnet 5