قانون سرعت آنتروپیک و مدل Opus 5.5
هوش مصنوعیClaude Opus 5خلاصهٔ کامل‌تر
آنتروپیک چند روز بعد از انتشار مقاله‌ای به قلم داریو آمودی با عنوان pacing the frontier (یعنی کم کردن عمدی سرعت مسابقهٔ قدرت مدل‌ها)، مدل Claude Opus 5.5 رو منتشر کرد؛ مدلی که تو بیشتر بنچمارک‌های کدنویسی و کار دانشی اول شده. تو این مقاله اومده که همین تناقض ظاهری اصل ماجراست: pacing به معنی توقف نیست، یعنی کنترل نرخ پیشرفت.
عددها هم همینو نشون می‌دن. Opus 5.5 تو Terminal Bench 4.0 (بنچمارکی که توانایی مدل رو تو اجرای دستور و کار کردن تو ترمینال می‌سنجه) نمرهٔ ۶۶.۴ درصد گرفته، بیشتر از ۱۰ واحد جلوتر از رقیب بعدی و خیلی بالاتر از Opus 5 که ۵۲.۳ درصد بود. تو GDPval 2.1، بنچمارک OpenAI برای کارهای دانشی واقعی مثل ساخت سند و کار با ایمیل، امتیاز ELO این مدل ۱۸۴۶ شده؛ بیش از ۳۰۰ امتیاز جلوتر از مدل هم‌ردهٔ GPT.
قیمت هم پایین اومده. توکن ورودی از ۵ به ۴ دلار و خروجی از ۲۵ به ۲۰ دلار به ازای هر میلیون توکن رسیده، یعنی حدود ۲۰ درصد کاهش روی کاغذ. ولی آنتروپیک ادعای ۴۰ درصد کاهش هزینهٔ واقعی روی بارهای کاری معمول رو داره و این عدد فقط وقتی جور درمیاد که مدل برای همون کار توکن کمتری مصرف کنه، نه اینکه صرفاً هر توکنش ارزون‌تر باشه.
بخش ایمنی هم تو یادداشت انتشار پررنگ شده. به گفتهٔ آنتروپیک، این مدل تو ممیزی رفتاری خودکار داخلی بهترین نمرهٔ تاریخ شرکت رو گرفته و کمتر سراغ کارهای برگشت‌ناپذیر می‌ره؛ چیزی که نویسنده اونو واکنشی به یه حادثهٔ قبلی مربوط به Hugging Face می‌دونه. تست alignment هم رفته سراغ کارهای طولانی و هدف‌های عمداً غیرممکن تا ببینه مدل سراغ تقلب می‌ره یا نه. دسترسی به سؤال‌های عمیق زیست‌شناسی و امنیت سایبری هم پشت برنامه‌های احراز هویت پژوهشگرها قفل شده.
نویسنده معتقده تکلیف این حرف رو نسخه‌های بعدی روشن می‌کنه. اگه مدل‌های بعدی با همین ریتم و همین جهش‌ها بیان بیرون، pacing بیشتر شبیه موضع‌گیری تبلیغاتی میشه تا سیاست؛ ولی اگه فاصلهٔ بین نسخه‌ها بیشتر بشه یا محدودیت‌های ایمنی سفت‌تر، معلوم میشه اون مقاله یه تعهد واقعی بوده.
نکات کلیدی:
- Terminal Bench 4.0: نمرهٔ ۶۶.۴ درصد در برابر ۵۲.۳ درصد Opus 5
- GDPval 2.1: امتیاز ELO برابر ۱۸۴۶، بیش از ۳۰۰ امتیاز جلوتر از رقیب
- قیمت ورودی ۴ و خروجی ۲۰ دلار به ازای هر میلیون توکن، حدود ۲۰ درصد کاهش
- ادعای ۴۰ درصد کاهش هزینهٔ واقعی روی کارهای معمول با تنظیمات پیش‌فرض
- محدودیت دسترسی به سؤال‌های زیست‌شناسی و امنیت سایبری پشت احراز هویت پژوهشگر
