چرا Gemini 4 Carbon اینقدر کنده؟
خلاصهٔ کاملتر
تیم نویسنده موقع بنچمارک Gemini 4 Carbon روی یکی از تستهای خصوصیشون دیده که این مدل برای کارهایی که Opus و Astra چند دقیقهای تموم میکنن، نزدیک یه ساعت وقت میذاره. کاربرهای دیگه هم همین رو گفتن، مثلاً یکی گزارش داده Carbon روی low حدود ۲۲ دقیقه طول کشیده و Opus 5.5 روی high حدود ۹ و نیم دقیقه. برای همین تیم همهی مراحل اجرای Carbon رو ردیابی کرده.
تسک این بوده: مدل یه کدبیس از قبل از رفع یه باگ میگیره، با یه گزارش که فقط علائم باگ رو میگه. باید علت رو پیدا کنه و درستش کنه، بدون تغییرهای بیربط. به گفتهی نویسنده، سختی اصلیش قضاوت مهندسیه، مثل اینکه بدونی کجا تمومش کنی.
اول سرعت inference (یعنی زمانی که هر جواب مدل طول میکشه، از صف و شبکه تا تولید متن) رو جدا کردن. این فقط ۱۶ تا ۳۰ درصد از وقت اضافهی Carbon در برابر Astra و ۴۵ تا ۴۹ درصد در برابر Opus رو توضیح میده. بقیهاش اینه که Carbon خیلی بیشتر کار میکنه: حدود هفت برابر Astra قدم برمیداره، یازده برابر اکشن داره، و چون هر قدم کل مکالمه رو دوباره میفرسته، بیش از شونزده برابر ورودی پردازش میکنه.
دو تا توضیح سادهتر هم رد شد. اجرای Carbon تو opencode و mini-SWE-agent فرقی نکرد، پس مشکل از harness نیست. روی تنظیم low هم Carbon اغلب اصلاً به یه fix نمیرسید و دور خودش میچرخید.
وقتی هر قدم رو برچسب زدن، دیدن نصف قدمهای Carbon صرف کارهایی شده که تیکت نخواسته: بررسی کدهایی که fix لازمشون نداشت، و بستن راههایی که خود تیکت ردشون کرده بود. تو یه نمونه، Carbon تو حدود شش دقیقه علت رو پیدا کرد ولی تا ۲۵ دقیقه بعد هیچ کدی ننوشت. وقتی هر پنج نوبت یه سؤال «اطلاعاتت برای fix کافیه؟» بهش تزریق کردن، زمان از ۳۷ به ۲۸ دقیقه رسید. یعنی مشکل از رفتار Carbon هست، نه دانشش.
تو کارهای لازم هم Carbon کندتره. Astra تو هر قدم بیش از دو tool call داره و چند فایل رو با هم میخونه، ولی Carbon حدود یکی. Carbon همچنین ۳۹ درصد خطهایی که خونده رو قبلاً دیده بوده، در برابر ۷ درصد برای Astra. نویسنده تخمین میزنه رفع همین دو مشکل حدود یه چهارم زمان اضافه رو کم میکنه.
نکات کلیدی:
- سرعت inference فقط ۱۶ تا ۳۰ درصد از کندی Carbon در برابر Astra رو توضیح میده
- Carbon حدود ۷ برابر Astra قدم برمیداره و بیش از ۱۶ برابر ورودی پردازش میکنه
- نصف قدمهای Carbon صرف کارهایی میشه که تیکت نخواسته
- با یه check-in خودکار هر ۵ نوبت، زمان از ۳۷ به ۲۸ دقیقه رسید
- ۳۹ درصد خطهایی که Carbon میخونه تکراریه، در برابر ۷ درصد برای Astra




