‏DeepSWE: بنچمارک واقع‌بین‌تر برای ارزیابی ایجنت‌های کدنویسی

DeepSWE یک بنچمارک تازه برای سنجش توانایی ایجنت‌های کدنویسی در کارهای بلندمدت و پیچیده‌ست. ایده‌ی اصلی اینه که بنچمارک‌های موجود مثل SWE-Bench Pro مشکلات جدی دارن: تسک‌ها از کامیت‌های عمومی گرفته شدن (خطر آلودگی دیتا)، وریفایرهاشون اشتباه می‌کنن، و اکثر مدل‌های فرانتیر روشون خیلی به هم نزدیک به نظر می‌رسن.

DeepSWE با چهار ویژگی اساسی این مشکلات رو حل می‌کنه: تسک‌ها از صفر نوشته شدن (نه از PR یا کامیت موجود)، ۹۱ ریپازیتوری مختلف در پنج زبان TypeScript، Go، Python، JavaScript و Rust رو پوشش می‌ده، راه‌حل‌ها به‌طور میانگین ۶۶۸ خط کد نیاز دارن (در مقابل ۱۲۰ خط SWE-Bench Pro)، و وریفایرها به‌جای جزئیات پیاده‌سازی، رفتار قابل مشاهده سیستم رو تست می‌کنن.