‏بنچمارک‌های Gemini 4 Carbon: صدرنشین با یه امتیاز اختلاف

گوگل Gemini 4 Carbon رو به عنوان قوی‌ترین مدلش معرفی کرده و تمرکزش روی امنیت سایبری و کارهای agentic طولانیه (یعنی کارهایی که مدل باید چند مرحله رو خودش پشت سر هم انجام بده). تو نسخهٔ پنجم Artificial Analysis Intelligence Index، Carbon امتیاز ۵۹ گرفته؛ Claude Opus 5.5 با ۵۸ و GPT-6 Astra با ۵۷ پشت سرشن. نکتهٔ جالب اینه که مدل قبلی گوگل، Gemini 4 Argon، فقط دو هفته پیش با امتیاز ۵۰ اومده بود.

تو بنچمارک‌های کدنویسی هم Carbon خوب عمل کرده. تو SWE-bench امتیازش ۹.۶ بوده، در برابر ۴.۳ برای Argon، و تقریباً هم‌سطح Astra شده. تو Terminal-Bench 4.0 (تست نوشتن و اجرای دستور تو ترمینال) به ۶۵ رسیده، در حالی که Argon و Astra ۵۹ و Claude Fable 5.1 ۵۲ گرفتن. ولی همه‌جا اول نیست: تو OSWorld که کنترل کامپیوتر رو می‌سنجه، Opus 5.5 جلوتره و Carbon با ۸۱.۵ دومه. تو Vending-Bench (شبیه‌سازی گردوندن یه دستگاه فروش خودکار) Carbon با موجودی ۱۶ هزار دلار از Astra با ۱۵ هزار دلار جلو زده.

برجسته‌ترین برتری Carbon تو امنیت سایبریه. تو ExploitGym که توانایی پیدا کردن و سوءاستفاده از آسیب‌پذیری رو می‌سنجه، امتیاز ۵۴ گرفته؛ Astra ۴۲ و Opus 5.5 ۳۴ گرفتن. تو SecBench Pro (کشف آسیب‌پذیری) و CWEBench (وصله کردن ضعف‌های شناخته‌شده، با امتیاز ۷۱) هم جلوتره. به گفتهٔ مقاله، چون این توانایی دولبه‌ست و مهاجم هم می‌تونه ازش استفاده کنه، گوگل اول به شرکای دفاع سایبری دسترسی می‌ده و تو فرایند داوطلبانهٔ تست پیش از انتشار دولت آمریکا هم شرکت کرده.

گوگل روی رفتار «میان‌بُر زدن» هم کار کرده؛ یعنی وقتی مدل به جای حل واقعی مسئله سعی می‌کنه تست رو دور بزنه. به گفتهٔ گوگل، تقلب موفق تو Terminal-Bench 4.0 به ۰٪ و تلاش برای تقلب به ۴٪ رسیده. ادعاهای بی‌پشتوانه هم نسبت به Argon تقریباً نصف شده.

از نظر مصرف توکن، Carbon برای هر کار حدود ۱۲۳ هزار توکن مصرف می‌کنه. این تقریباً نصف Claude Sonnet 5.5 با حدود ۲۸۵ هزار توکنه و حدود ۲۰٪ کمتر از Opus 5.5. قیمت اولیه‌ش ۲ دلار برای هر میلیون توکن ورودی و ۱۰ دلار برای خروجیه که بعد از یه دورهٔ نامشخص می‌شه ۴ و ۲۰ دلار. توکن‌های ورودی کش‌شده هم ۹۵٪ تخفیف دارن که برای agentهایی که مدام همون context رو دوباره می‌فرستن خیلی به‌دردبخوره.

با این حال، نویسنده می‌گه اگه امتیاز هوش رو کنار هزینه به ازای هر کار بذاریم، خانوادهٔ GPT-6.1 Sol از OpenAI هنوز بهترین جایگاه رو داره. مثلاً GPT-6.1 Sol Max حدود ۶۸ هزار توکن مصرف می‌کنه، یعنی نصف Carbon. پس Carbon باهوش‌ترین مدله، ولی به‌صرفه‌ترین نیست. به نظر نویسنده، گوگل برای رقابت تو همهٔ رده‌های قیمتی باید نسخه‌های کوچیک‌تر Carbon رو هم بیاره.

نکات کلیدی:

• امتیاز Carbon تو Intelligence Index V5 برابر ۵۹ هست، در برابر ۵۸ برای Opus 5.5 و ۵۷ برای GPT-6 Astra
• تو ExploitGym امتیاز ۵۴ گرفته، در برابر ۴۲ برای Astra و ۳۴ برای Opus 5.5
• تو OSWorld با ۸۱.۵ دومه و Opus 5.5 جلوتره
• برای هر کار حدود ۱۲۳ هزار توکن مصرف می‌کنه، حدود ۲۰٪ کمتر از Opus 5.5
• قیمت اولیه ۲ و ۱۰ دلار برای هر میلیون توکن ورودی و خروجیه که بعداً می‌شه ۴ و ۲۰ دلار
• تقلب موفق تو Terminal-Bench 4.0 به ۰٪ رسیده
• از نظر هزینه به ازای هر کار، GPT-6.1 Sol هنوز به‌صرفه‌تره