Gemini 4 Neon شاید همسطح Opus 5.5 باشه
خلاصهٔ کاملتر
گوگل امروز Gemini 4 Neon رو منتشر کرد. به گفتهی نویسنده، Neon تو بنچمارکها یه کم از Gemini 4 Carbon بهتره، ولی فرق اصلیش سرعته. روی OpenRouter حدود ۱۲۷ توکن در ثانیه سرو میشد، در حالی که Carbon حدود ۴۶ توکن در ثانیهست. Carbon الان بهترین مدل لیدربرد Agent Duel هست (اگه رأیهای زودهنگام رو حساب نکنی)، ولی مشکل بزرگش کندیشه.
نویسنده برای اینکه ببینه Neon میتونه بهترین مدل بشه یا نه، نرخ برد مدلها تو لیدربرد رو مدل کرده. این مدل سه تا ورودی داره: اینکه کدوم مدله، سرعتش، و اینکه کاربر زود رأی داده یا نه (early voting، یعنی کاربر قبل از تموم شدن کار هر دو مدل رأی داده). مدل اولیه خوب جواب نداد، برای همین یه تعامل بین سرعت و رأی زودهنگام اضافه کرده و بعدش خوب کار کرد.
نتیجهی جالبش اینه که تو این لیدربرد، سرعت تقریباً به اندازهی خود مدل روی نرخ برد اثر داره. یعنی یه مدل خوب ولی کند، امتیاز کمتری از کاربرها میگیره.
با این فرض که Neon همون کیفیت Carbon رو داره (که با بنچمارکهای بهترش منطقیه) و سرعتش ۱۲۷ توکن در ثانیهست، Elo پیشبینیشدهاش ۱۰۶۶ درمیاد. این عدد کمی پایینتر از Opus 5.5 با ۱۰۷۸ هست. بازهی اطمینان ۹۰ درصدی برای اختلافشون از منفی ۹۴ تا مثبت ۶۸ هست، و Neon تو ۴۸.۳ درصد مواقع از Opus میبره. پس عملاً همسطحن.
نکات کلیدی:
- سرعت Gemini 4 Neon روی OpenRouter حدود ۱۲۷ توکن در ثانیهست، در برابر ۴۶ برای Carbon
- تو لیدربرد Agent Duel، سرعت تقریباً هموزن کیفیت مدل روی نرخ برد اثر داره
- Elo پیشبینیشدهی Neon حدود ۱۰۶۶ هست، در برابر ۱۰۷۸ برای Opus 5.5
- احتمال برد Neon در برابر Opus 5.5 حدود ۴۸.۳ درصد تخمین زده شده
- این عددها پیشبینی آماریان، نه نتیجهی واقعی رأی کاربرها




