BenchProofer آمازون: بنچمارک کدنویسی با اثبات ریاضی
خلاصهٔ کاملتر
امروز موفقیت agentهای کدنویسی رو با تعداد تسکهایی میسنجن که تستهاشون پاس شده. ولی تیم BenchProofer تو آمازون میگه یه پچ میتونه همهی تستها رو پاس کنه و باز روی ورودیهایی که تست نشدن غلط باشه. مشکل وقتی جدیتره که نتیجهی بنچمارکها تو reinforcement learning بهعنوان پاداش استفاده میشه؛ یعنی مدل ممکنه از نتیجهی اشتباه یاد بگیره.
BenchProofer برای هر تسک سه چیز میسازه: یه specification (یعنی تعریف دقیق و ماشینخوان از اینکه جواب درست باید چی کار کنه)، یه پیادهسازی مرجع به زبانی که verifier میفهمه، و یه proof که نشون میده پیادهسازی با اون تعریف جوره. verifier، مثلاً proof checker زبان Lean، این اثبات رو مثل کامپایلری که typeها رو چک میکنه، خودکار بررسی میکنه. backendهای پشتیبانیشده Lean، Nagini برای پایتون و Velvet هستن.
چون کل یه ریپازیتوری واقعی خیلی بزرگه، فقط کد جدید اثبات میشه. برای توابع قدیمیای که کد جدید صداشون میزنه، یه contract (یعنی یه ادعای کوتاه دربارهی رفتار تابع) ساخته میشه که با fuzzing تست میشه ولی اثبات نمیشه. بعد چندتا gate بررسی میکنن که مثلاً کد قبل از فیکس اثبات رو رد کنه، یا agentهای مهاجم دنبال specificationهای خیلی ضعیف یا خیلی سختگیر میگردن.
تیم این ابزار رو روی هر ۵۰۰ تسک SWE-Bench Verified اجرا کرده و نتیجه رو با اسم SWE-Proof منتشر کرده. Claude Opus 4.8 روی ۴۲۵ تسک تستها رو پاس کرد، ولی تستهای اضافهای که از روی specification ساخته شدن، ۱۳۴ تا از این پچها رو گرفتن. GPT-5.5 روی ۴۰۶ تسک پاس شد و ۲۳۹ تا از پچهاش گیر افتادن. آدمها ۴۱ نمونه از پچهای گیرافتادهی Opus رو بررسی کردن و ۲۱ تاش واقعاً باگ داشت.
وقتی specification آماده به agent داده میشه، نرخ قبولی تأییدشدهی Opus 4.8 از ۸۴.۶ به ۹۳.۶ درصد و GPT-5.5 از ۷۹.۶ به ۹۴.۴ درصد میرسه. ولی ساختن خود specification هنوز سخته: فقط ۶۱.۴ درصد specificationهایی که Opus خودش نوشت، تو بررسی خودکار قبول شدن و بیشترشون رفتاری رو جا انداخته بودن که فیکس باگ لازم داشت. ابزار متنبازه و میشه باگهای فیکسشدهی پروژهی خودت رو هم بهش داد.
نکات کلیدی:
- BenchProofer برای هر تسک specification، پیادهسازی مرجع و اثبات قابلبررسی با ماشین میسازه.
- backendهای اثبات Lean، Nagini (پایتون) و Velvet هستن.
- SWE-Proof نسخهی تأییدشدهی هر ۵۰۰ تسک SWE-Bench Verified هست.
- ۱۳۴ از ۴۲۵ پچ پاسشدهی Opus 4.8 و ۲۳۹ از ۴۰۶ پچ GPT-5.5 رفتار متفاوتی با مرجع داشتن.
- تو نمونهی ۴۱تایی بررسی انسانی، ۲۱ پچ باگ واقعی داشتن.
- فقط ۶۱.۴ درصد specificationهای خود Opus تو بررسی خودکار قبول شدن.




