AutoSaddler؛ بهینهسازی خودکار هارنس ایجنتها
هوش مصنوعی
پایتونخلاصهٔ کاملتر
AutoSaddler یه پروژهٔ متنباز از مایکروسافته که کارش بهینهکردن خودکار «هارنس» ایجنتهاست؛ یعنی همون لایهای که پرامپت سیستمی، تعریف و پیادهسازی تولها، هوکهای میانافزار و منطق حلقهٔ ایجنت توش نوشته میشه. تو مقالهای که تیم روی arXiv گذاشته اومده که بهجای دستکاری دستی این لایه، خود سیستم ترِیس اجراهای شکستخورده رو میخونه، ریشهٔ خطا رو در میاره و پچ پیشنهاد میده.
عددهایی که بهعنوان نتیجهٔ اولیه گزارش شده مربوط به Pass@1 روی سه بنچمارکه. روی GAIA2 با یه ایجنت ReAct پیشفرض از ۵۳ به ۶۲ رسیده، روی SWE-Bench Pro با هارنس SWE-agent از ۳۷.۳ به ۴۶.۹ و روی Terminal-Bench 2.0 با Terminus 2 از ۴۰ به ۵۰. یعنی حدود ۹ تا ۱۰ واحد درصد بهبود، بدون اینکه مدل پایه عوض شه؛ فقط لایهٔ دور مدل بهتر شده.
موتورش سه نوع نشست داره. تو Diagnosis-Patch، ترِیس خطاها و خودِ کدِ هارنس بررسی میشن و دو جور پچ در میاد: پچ Capability برای کد و زیرساخت، و پچ Steering برای تغییر رفتار متنی. تو Reflection، ترِیس قبل و بعد پچ مقایسه میشه و موردها به چهار دستهٔ درستشده، پسرفتکرده، هنوز خراب و هنوز سالم تقسیم میشن تا درسِ قابل استفاده ازش بیرون بیاد.
نشست سومی هم به اسم Evolution هست که سراغ یه گراف به اسم EvoDAG میره و اجزای موفق نسلهای قبلی رو با هم ترکیب میکنه. هر کاندید اول روی نمونهای از دادهٔ آموزش تست میشه و بعد باید گیتِ دادهٔ development رو پاس کنه؛ وقتی بودجهٔ رولاوت تموم شد، بهترین کاندید همون بخش برگردونده میشه. به گفتهٔ نویسندهها همین مرحلهٔ اعتبارسنجی فرق این روش با بازتابهای سطحیه.
اجرا هم عمداً «durable» طراحی شده: رویدادها فقط به فایل events.jsonl اضافه میشن، هر ران با یه run-id قابل ادامهست و اگه ورودیهای حلشده بایتبهبایت یکی نباشن، ران رد میشه. فعلاً V2 نسخهٔ توصیهشدهست و V1 فقط برای بازتولید نتایج مقاله مونده. یه کانفیگ قالبِ بدون کلید API هم هست که کل موتور رو رایگان و قطعی اجرا میکنه.
نکات کلیدی:
- روی GAIA2 با ایجنت ReAct پیشفرض، Pass@1 از ۵۳ به ۶۲ رفته (+۹ واحد درصد)
- روی SWE-Bench Pro با SWE-agent از ۳۷.۳ به ۴۶.۹ و روی Terminal-Bench 2.0 با Terminus 2 از ۴۰ به ۵۰
- سه نشست Diagnosis-Patch، Reflection و Evolution، با گراف EvoDAG برای نگهداشتن درسها
- V2 نسخهٔ فعلیه؛ V1 فقط برای بازتولید آزمایشهای مقاله نگه داشته شده
- نیازمندیها: Python نسخهٔ ۳.۱۲ تا ۳.۱۴، uv و Git؛ لایسنس MIT
