کد شلختهی ایجنتها رفته تو طراحی
خلاصهٔ کاملتر
گیب اورلانسکی تو این پست بخش دوم تحلیل SlopCodeBench یا SCB رو منتشر کرده. تو SCB ایجنت اول یه برنامه مینویسه و بعد تو چند checkpoint پشت سر هم، کد خودش رو برای نیازهای جدید گسترش میده. این بنچمارک ۳۶ مسئله و ۱۹۶ checkpoint داره، همه به Python. کنارش دو بنچمارک جدید هم اومده: LibraryDesignBench (LDB) که کتابخونههایی که ایجنتها میسازن رو میسنجه، و LibraryUseBench (LUB) که نگاه میکنه ایجنت چقدر از یه کتابخونهی آماده استفاده میکنه.
خبر خوب اینه که نرخ حل بالا رفته. سختگیرانهترین معیار، یعنی پاس شدن همهی تستهای checkpoint فعلی و قبلیها، الان به ۱۶.۳ درصد رسیده که رکوردش دست GPT-6 Astra XHigh هست. همهی مدلهای جدید هم بالای ۶۵ درصد تستهای اصلی رو پاس میکنن. «اسلاپ» در سطح خط، که با ۱۳۷ قاعدهی AST-grep شمرده میشه، کلی کم شده. مثلاً هم Claude و هم GPT به جای برگردوندن تاپل (value, error) حالا exception پرتاب میکنن.
ولی به گفتهی نویسنده، بخشی از مشکل فقط جابهجا شده. مثلاً except Exception: های بیصدا شدن except OSError: return None، و جای helperهای چک نوع رو زنجیرههای if not isinstance(...): raise گرفته. تو نسل Anthropic تعداد این چکها از ۰.۲ تا ۱.۱۲ به ۲.۲۹ تا ۳.۴۵ در هر هزار خط رسیده. یعنی قاعدهها دور زده شدن، نه اینکه کد واقعاً بهتر شده باشه.
مشکل اصلی حالا تو تصمیمهای طراحیه: exceptهای خیلی کلی که یه باگ برنامهنویسی رو مثل خطای دیتابیس نشون میدن، تابعهایی که فقط یه Error میسازن و برمیگردونن، پارامترهایی که اسم checkpoint قبلی رو دارن، و کد تکراری که تستهای قبلی رو میشکنه. نکتهی عجیبتر اینه که Opus 5.5، Fable و GLM 5.3 دوباره عادتهای Python 2 مثل فرمتدهی با % و class X(object) رو تو کد Python 3.12 آوردن.
همین عادتها تو کتابخونههایی که ایجنتها برای بقیهی ایجنتها میسازن هم دیده میشه. helperهایی که موقع خطا یه مقدار جایگزین برمیگردونن ۲۵ برابر کتابخونههای انسانی هستن، و # pragma: no cover روی هندلرهای خطا تقریباً ۴ برابر نرخ خود این مدلها تو SCB هست. یعنی خطاها قایم میشن و از گزارش coverage هم بیرون میمونن.
بدترین یافته اینه که ایجنتها کتابخونه رو میگردن، قابلیت لازم رو پیدا میکنن و باز خودشون از نو مینویسنش. تو LUB، هر مدل تو ۷۳ تا ۱۰۰ درصد راهحلهاش چیزی رو دستی نوشته که کتابخونه داشته؛ مثلاً ۸ مدل از ۱۲ تا با اینکه SimPy رو import کرده بودن، صف خودشون رو ساختن. نویسنده میگه چون ایجنتها روزبهروز بیشتر روی کد ایجنتهای دیگه کار میکنن، این مشکل مهمتر میشه و به بنچمارکهای طولانیتر و چندایجنتی نیاز داریم.
نکات کلیدی:
- بهترین نرخ حل سختگیرانه تو SCB الان ۱۶.۳ درصده (۳۲ از ۱۹۶ checkpoint) و ماهی حدود ۰.۹ واحد بالا میره.
- اسلاپ در سطح خط کم شده، ولی به تصمیمهای طراحی مثل exceptهای کلی و کد تکراری منتقل شده.
- Opus 5.5، Fable و GLM 5.3 تو ۱۴ تا ۲۳ مسئله از ۳۶ تا، فرمت % رو سبک اصلی کردن.
- تو LUB همهی مدلها تو ۷۳ تا ۱۰۰ درصد راهحلها قابلیت موجود کتابخونه رو دوباره نوشتن.
- با پرامپت خیلی دقیق LDB نرخ بازنویسی ایجنتها ۴۰ درصده، در حالی که با کتابخونههای انسانی حدود ۱۷ درصده.




