‏RRSI: جلوی حفظ‌کردن ایجنت‌های خودبهبود رو می‌گیره

هارنس (harness) یعنی همه‌چیزی که دور مدل فریزشده می‌چینی: پرامپت‌ها، مسیر کنترل، ابزارها، حافظه و مدیریت کانتکست. روش‌هایی مثل Meta-Harness و AHE این تنظیم رو خودکار کردن؛ یه LLM مسیرهای شکست‌خورده رو می‌خونه، هارنس رو ویرایش می‌کنه و اگه امتیاز بالا رفت ویرایش رو نگه می‌داره. تو این مقاله اومده که مشکل دقیقاً همین‌جاست، چون هر دور روی همون ست محدود ارزیابی امتیاز گرفته می‌شه و پیشنهاد هر دور به امتیاز دور قبل وابسته‌ست.

نویسنده‌ها اسم این رو overfitting تطبیقی می‌ذارن، یعنی همون بلایی که وقتی هایپرپارامتر رو روی تست‌ست تنظیم می‌کنی سرت میاد. سه جور خودش رو نشون می‌ده: فیت‌شدن روی خود بنچمارک، دنبال نویز دویدن (نگه‌داشتن ویرایشی که شانسی برده) و انباشت پیچیدگی (اضافه‌کردن مرحله‌هایی که فقط توکن می‌خورن). عددش هم گویاست: تکامل بدون رگولاریزاسیون ۹۲.۸ روی ست خودش می‌گیره ولی بیرون ۴۰.۳، در حالی که هارنس دست‌نخورده ۳۹.۷ بوده. یعنی تقریباً همه‌ی سود، حفظ‌کردن بوده.

RRSI فضای ویرایش رو باز می‌ذاره و به‌جاش جلوی تبدیل فیدبک به تغییر دائمی رو می‌گیره. سمت پیشنهاد سه قانون داره: بودجه‌ی ویرایش که با زمان‌بندی کسینوسی کم می‌شه تا دورهای آخر فقط یکی دو تغییر بشه و هر سود قابل ردیابی باشه؛ تاریخچه‌ی ویرایش‌ها تا پیشنهاددهنده ایده‌های شکست‌خورده رو دوباره تست نکنه؛ و اکتشاف اجباری، که وقتی پیشرفت چند دور تو باند نویز گیر کرده، بخشی از بودجه رو می‌بره سراغ کامپوننت‌هایی که هنوز دست نخوردن.

سمت پذیرش هم چهار تا فیلتر داره. یه منتقد نشتی قبل از ارزیابی diff رو می‌خونه و هر ویرایشی که اسم تسک، موجودیت یا خود جواب رو کد کرده رد می‌کنه، پس اصلاً فرصت خوب به‌نظر رسیدن پیدا نمی‌کنه. کف نویز یعنی قبل از شروع، هارنس پایه چندبار اجرا می‌شه تا نویز ارزیابی (δ) اندازه‌گیری بشه و کاندیدا باید حداقل به بهترین امتیاز منهای δ برسه. پذیرش هزینه‌آگاه هم می‌گه توکن اضافه فقط وقتی قبوله که به‌اندازه‌ی خودش امتیاز بخره. آخری هرس کردنه: کامپوننتی که تو یه بازه سود مثبتی نده، برای حذف علامت می‌خوره.

نتیجه رو می‌شه دید: Terminal-Bench 2.1 با Claude Opus 4.8 از ۷۴.۲ به ۸۰.۲ می‌ره و همون هارنس ۱.۸ واحد به SWE-bench Verified اضافه می‌کنه، بنچمارکی که اصلاً باهاش امتیاز نگرفته بود. روی EngDesign و Frontier-Eng هم که با شبیه‌ساز قطعی نمره می‌گیرن نه با داور LLM، باز ۴.۹ و ۴.۳ واحد جلو می‌زنه. یعنی سودش از خوش‌آمد داور نمیاد.

نویسنده‌ها خودشون چند تا هشدار می‌دن. سود بیرونی متواضعه، بین ۱.۸ تا ۴.۷ واحد، و بخشی از اون با محاسبه‌ی زمان تست خریده شده (۲.۴۲ میلیون توکن در برابر ۱.۵۶ میلیون برای هارنس اولیه). «بیرون از توزیع» هم اینجا یعنی بنچمارک دیگه تو همون دامنه، نه یه جور کار کاملاً متفاوت. خود روش هم هایپرپارامتر اضافه میاره که روی همون ست تکامل تنظیم می‌شه.

نکات کلیدی:

• تکامل بدون رگولاریزاسیون: ۹۲.۸ روی ست تکامل ولی ۴۰.۳ بیرون، در برابر ۳۹.۷ هارنس دست‌نخورده
• RRSI: ۹۰.۵ داخل و ۴۳.۶ بیرون، تنها روشی که بیشتر از یک واحد از نقطه شروع جلو زده
• مصرف ۲.۴۲ میلیون توکن در هر آزمایش در برابر ۳.۸۰ میلیون، یعنی ۳۶٪ کمتر
• Terminal-Bench 2.1 با Claude Opus 4.8 از ۷۴.۲ به ۸۰.۲ و ۱.۸ واحد سود روی SWE-bench Verified
• حذف قوانین پیشنهاد فقط ۰.۲ واحد از ست تکامل کم می‌کنه ولی ۱.۷ واحد از سود بیرونی