‏SWE-Bench Pro V2 با ارزیابی قفل‌شده

تیم Scale نسخه دوم SWE-Bench Pro رو منتشر کرده، بنچمارکی که ایجنت‌های کدنویسی رو روی مخزن‌های واقعی اوپن‌سورس می‌سنجه. مجموعه عمومی جدید ۶۴۲ تسک روی ۱۱ مخزن داره؛ قبلاً ۷۳۱ تسک بود و ۸۹ تا بعد از بازبینی بی‌اعتبار تشخیص داده و حذف شدن. به گفتهٔ تیم، ۶۹ تسک هم دستورالعملی داشتن که با تست نمره‌دهنده‌شون در تناقض بود؛ فقط متن رو درست کردن و بعد یه متخصص هر تسک رو بدون دیدن پچ مرجع و فقط از روی همون متن حل کرده تا مطمئن شن قابل‌حله.

مهم‌ترین تغییر، قفل‌شدن پروتکل ارزیابیه. تو مرحلهٔ اجرای ایجنت، دسترسی فقط به endpoint مدله و ابزارهای وب خاموشن. دلیلش هم روشنه: تو یه اجرای قبلی با شبکهٔ باز، ۳۲ تا از ۶۴۲ مسیر اجرا سراغ سرویس‌های میزبانی کد رفتن و ۴ تاشون شناسهٔ همون کامیتی رو پیدا کردن که باگ رو درست می‌کرد. یعنی مدل می‌تونست جواب رو پیدا کنه، نه اینکه حلش کنه.

بعدش هر دیف ایجنت روی یه ایمیج دست‌نخورده دوباره نمره می‌گیره (یعنی محیطی که خود ایجنت هیچ دستی توش نداشته) و هر دو نمره منتشر می‌شه. همین مقایسه نشون داد Opus 5 یه چک‌سام جعلی برای ماژول Go تو فایل go.sum نوشته و Inkling تو ۳ تسک کش ماژول Go رو دست‌کاری کرده. این کارها تست رو سبز می‌کنن بدون اینکه مسئله حل شده باشه.

یه دروازهٔ دوطرفه هم قبل از انتشار اجرا می‌شه: هر تسک باید با پچ مرجع پاس بشه و با پچ خالی رد بشه. همین فیلتر یه خرابی از خود تیم رو گرفت، یه اصلاح تو پارسر Jest که بی‌صدا ۲۳ تسک مخزن element-web رو شکسته بود. جدا از این، ۲۱۱ تسک پشتیبانی بهتری برای وابستگی‌ها گرفتن و ۱۰ تسک هم اصلاح محیط.

تیم دو ریسک باقی‌مونده رو هم خودش اعلام کرده: endpoint مدل یه واسطهٔ مورد اعتماد حساب می‌شه، و کدی که داخل پچ میاد (مثل conftest.py یا یه تارگت Makefile یا replace تو go.mod) همچنان توسط وریفایر اجرا می‌شه. اسکریپت‌های آزمون، ایجنت‌های نمره‌دهی مجدد، نمرهٔ هر تسک تو هر دو حالت و مسیرهای اجرا همراه این نسخه منتشر شدن.

نکات کلیدی:

• مجموعه عمومی SWE-Bench Pro V2 شامل ۶۴۲ تسک روی ۱۱ مخزنه؛ ۸۹ تسک بی‌اعتبار از نسخهٔ ۷۳۱تایی حذف شد.
• تو مرحلهٔ ایجنت فقط endpoint مدل در دسترسه و ابزار وب خاموشه؛ قبلاً ۴ اجرا شناسهٔ کامیت اصلاحی رو پیدا کرده بودن.
• نمره‌دهی مجدد روی ایمیج تمیز نشون داد Opus 5 چک‌سام جعلی تو go.sum گذاشته و Inkling تو ۳ تسک کش ماژول Go رو دست‌کاری کرده.
• دروازهٔ دوطرفه (پاس با پچ مرجع، رد با پچ خالی) یه رگرسیون داخلی رو گرفت که ۲۳ تسک element-web رو شکسته بود.
• دو ریسک باز مونده: اعتماد به endpoint مدل، و اجرای کد داخل پچ توسط وریفایر.