‏FrontierCode 2.0: بنچمارکی که می‌پرسه کد مدل قابل merge هست یا نه

تیم Cognition، که Devin رو ساخته، می‌گه با وجود پیشرفت زیاد AI، مهندسی نرم‌افزار خودکار هنوز حل نشده. مدل‌ها تو فهمیدن نیت کاربر، رعایت قیدهای ناگفته و دیدن پیامدهای بلندمدت تغییراتشون مشکل دارن. به گفته‌ی این تیم، بیشتر بنچمارک‌ها این ضعف‌ها رو نمی‌بینن و زود هم اشباع می‌شن. FrontierCode 2.0 قراره همین شکاف رو پر کنه.

معیار اصلی اینه که کد مدل واقعاً mergeable باشه، یعنی یه maintainer حاضر باشه قبولش کنه. بیش از ۲۰ توسعه‌دهنده‌ی متن‌باز، برای هر تسک بیشتر از ۴۰ ساعت وقت گذاشتن تا از ریپوهای خودشون تست واقعی بسازن. نسخه‌ی ۲ تسک‌هاش رو از ۵۵٪ ریپوی بیشتر برداشته، ۴۳٪ معیار blocking بیشتر داره و حالا وصله‌های امنیتی و بهینه‌سازی کارایی رو هم پوشش می‌ده. راه‌حل‌های مرجع به‌طور میانگین ۶۷٪ فایل بیشتر و ۸۹٪ خط کد بیشتری رو تغییر می‌دن، اونم تو کدبیس‌هایی که ۲۵٪ بزرگ‌ترن.

یه بخش مهم، معیارهای thoroughnessه (یعنی شرط‌هایی که از دستور و کدبیس می‌شه حدسشون زد، حتی اگه گفته نشده باشن). مثلاً اگه یه باگ تو یه مسیر کد گزارش شده و همون باگ تو مسیر کناری هم هست، مدل باید هر دو رو درست کنه. تعداد این معیارها نسبت به نسخه‌ی 1.1 سه برابر شده. تو یکی از مثال‌ها، Opus 5.5 باگ resetHandlers() تو کتابخونه‌ی Mock Service Worker رو درست کرده، ولی generator قبلی رو نبسته؛ یعنی کد cleanup کاربر تو بلوک finally هیچ‌وقت اجرا نمی‌شه.

یه نکته‌ی جالب اینه که تو این بنچمارک، reasoning effort بیشتر لزوماً نمره‌ی بهتری نمی‌ده. مدل‌ها با effort بالا کد بیشتری می‌نویسن و فایل‌های بیشتری رو دستکاری می‌کنن. مثلاً GPT-6 Astra تو یه تسک از SDK اندروید PostHog، با effort پایین ۵ از ۵ بار قبول شده، ولی با effort بالا گاهی یه کلاس عمومی رو کلاً پاک کرده و برای همه‌ی اپ‌هایی که ازش استفاده می‌کنن breaking change ساخته. Cognition معیارهای scope رو کمی شل‌تر کرده و نرخ رد شدن از این معیارها از ۹٪ به ۳.۸٪ رسیده.

تو نتایج، Opus 5.5 با ۴۵٪ بالاترین نمره رو گرفته. Luna، Haiku و Sol تو سمت ارزون‌تر روی Pareto frontier هستن و GPT-6.1 Sol نسبت به هزینه‌ش عملکرد خیلی خوبی داره. به گفته‌ی تیم، مدل‌های متن‌باز، مخصوصاً مدل‌های متن‌باز غربی، هنوز خیلی عقب‌ترن.

نکات کلیدی:

• بالاترین نمره مال Opus 5.5 با ۴۵ درصده و بنچمارک هنوز اشباع نشده.
• تسک‌ها از ۵۵٪ ریپوی بیشتر اومدن و ۴۳٪ معیار blocking بیشتر دارن.
• معیارهای thoroughness نسبت به FrontierCode 1.1 سه برابر شدن.
• effort بیشتر می‌تونه نمره رو پایین بیاره چون مدل تغییرات غیرلازم می‌ده.
• نرخ رد شدن از معیارهای scope از ۹٪ به ۳.۸٪ کم شده.
• تو ۸۰٪ تسک‌ها راه‌حل مرجع با PR اصلی ریپو فرق داره.