‏AutoResearch: وقتی Claude Code دستورالعمل‌های خودش رو بهتر می‌کنه

AutoResearch پلاگینیه که به یه ایجنت کدنویسی اجازه می‌ده حلقه‌ی آزمایش خودش رو اجرا کنه: یه تغییر پیشنهاد بده، با یه معیار ثابت تستش کنه، اگه بهتر بود نگهش داره و اگه نه کنارش بذاره. ایده‌ی اصلی مال Andrej Karpathy بود و برای آموزش مدل ساخته شده بود. Udit Gulati یه نسخه‌ی کامیونیتی ازش برای Claude Code ساخته که به‌جای آموزش مدل، یه فایل skill رو بهینه می‌کنه (یعنی یه فایل markdown که دستورالعمل‌های Claude برای کاری مثل رفع باگ توشه).

حلقه چهار تا جزء داره: یه هدف، محدوده‌ای که اجازه‌ی تغییرش هست (مثلاً فقط همون یه فایل skill)، یه معیار (مثل درصد تلاش‌هایی که تست‌های ثابت رو پاس می‌کنن) و یه دستور برای سنجش. هر دور یه تغییر متمرکز می‌سازه و نتیجه‌ش لاگ می‌شه، پس آخرش یه تاریخچه داری که کدوم ایده کمک کرد. به گفته‌ی نویسنده «بهتر شو تو کدنویسی» چیزی برای سنجیدن نداره، ولی «سه تا تست رفع باگ ثابت رو بیشتر پاس کن» داره.

تو تجربه‌ی مقاله، سه تا باگ کوچیک به‌عنوان مجموعه‌ی توسعه استفاده شدن: تابعی که موقع حذف تکراری‌ها باید ترتیب رو حفظ کنه، تابعی که صفر رو اشتباهی «مقدار خالی» حساب می‌کنه، و تابعی که لیست ورودی رو دستکاری می‌کنه. AutoResearch خودش بنچمارک نداره، پس باید یه پروژه‌ی خراب، تست‌های نمره‌دهی و یه لاگ بسازی. ایجنتی که باگ رو درست می‌کنه فقط به پروژه دسترسی داره، بهینه‌ساز فقط به دستورالعمل‌ها، و تست‌ها برای هر دو دست‌نخوردنی‌ان.

نویسنده می‌گه قبل از خرج پول، خود داور رو تست کن: کد خراب رد بشه، کد درست پاس بشه، پچی که تست رو پاک کنه رد بشه، و timeout هم پاس حساب نشه. برای مقایسه‌ی تمیز، هر اجرا با print mode و فلگ bare انجام می‌شه که حافظه و پلاگین‌ها رو لود نمی‌کنه، و دستورالعمل‌ها با فلگ append-system-prompt-file تزریق می‌شن. این حالت API key لازم داره و با اشتراک معمولی کار نمی‌کنه.

به گفته‌ی مقاله بزرگ‌ترین خطر overfitting هست، یعنی دستورالعمل‌ها انقدر روی همون سه تا باگ خاص می‌شن که شاید حتی جواب رو توشون جا بدن. راه‌حل یه مجموعه‌ی held-out (تسک‌هایی که بهینه‌ساز هیچ‌وقت نمی‌بینه) هست که آخر کار نسخه‌ی اصلی و بهینه‌شده روش مقایسه می‌شن. اگه فقط تسک‌های توسعه بهتر بشن و held-out نه، یعنی حلقه overfit شده. اگه هر دو نسخه همه‌چی رو حل کنن، بنچمارک زیادی آسونه.

هزینه هم کم نیست. سه تسک با سه تلاش یعنی ۹ اجرا برای هر نسخه؛ baseline به‌علاوه‌ی سه کاندید می‌شه ۳۶ اجرا و مقایسه‌ی held-out هم ۱۲ تای دیگه، یعنی ۴۸ اجرا بدون حساب سربار خود بهینه‌ساز. print mode اجازه می‌ده سقف دلاری و سقف نوبت بذاری، ولی نویسنده می‌گه تنظیمات خود پلاگین فقط دستورالعمله و سقف واقعی هزینه نیست؛ کنترل هزینه باید بیرون از حلقه باشه.

نکات کلیدی:

• AutoResearch فایل skill رو بهینه می‌کنه، نه خود مدل Claude رو.
• هر حلقه چهار جزء داره: هدف، محدوده‌ی قابل‌تغییر، معیار و دستور سنجش.
• بدون تسک‌های held-out ممکنه بهینه‌ساز فقط بنچمارک رو گول بزنه.
• اجرای print mode با فلگ bare به API key نیاز داره و با اشتراک معمولی کار نمی‌کنه.
• یه آزمایش کوچیک حدود ۴۸ اجرای جدا از Claude لازم داره.