‏Harness²: ایجنتی که دور و بر خودش رو خودش می‌سازه

Harness یعنی هر چیزی که دور مدل خام هست: system prompt، ابزارهایی که صدا می‌زنه، مدیریت حافظه و حلقه‌ی کنترلی که تصمیم می‌گیره قدم بعدی چیه. Harness² یه رویکرد پژوهشی از Google Research و دانشگاه Northwestern هست که به ایجنت اجازه می‌ده حین کار، harness خودش رو بسازه و تغییر بده. نتیجه‌ی اصلی: یه مدل ضعیف‌تر با harness خودساخته از یه مدل frontier قوی‌تر با harness پیش‌فرض بهتر عمل کرده.

محقق‌ها چهار harness معروف از جمله Claude Code و Codex رو تست کردن و هیچ‌کدوم همه‌جا برنده نبود. Claude Code تو کدنویسی و spreadsheet بهتر بود و Codex تو کارهای وب. یه یافته‌ی مهم دیگه اینه که اگه ایجنت مدام قانون جدید به system prompt اضافه کنه، عملکردش بدتر می‌شه. چون prompt تو هر قدم دوباره پردازش می‌شه و بودجه‌ی توکن رو می‌خوره، تا جایی که ایجنت قبل از تموم کردن کار کم میاره.

برای همین Harness² به‌جای prompt چهار لایه‌ی سبک‌تر رو عوض می‌کنه:

• skillهای on-demand: دستورالعمل‌های تخصصی که تا وقتی لازم نشن هزینه‌ای ندارن.
• ابزارهای سفارشی: اسکریپت‌های کوچیک Python برای حساب‌وکتاب و چک کردن دقیق داده.
• زیرایجنت‌ها: برای خوندن متن‌های حجیم با context جدا، که حافظه‌ی ایجنت اصلی شلوغ نشه.
• تغییر حلقه‌ی کنترل: hookهایی که مستقیم تو حلقه‌ی اجرا تزریق می‌شن، مثل یه watchdog که قدم‌ها رو می‌شمره و قبل از تموم شدن وقت، ایجنت رو مجبور به نوشتن خروجی می‌کنه. قانون تو prompt فقط توصیه‌ست، ولی hook اجباریه.

بدون جواب درست، از کجا بفهمیم یه تغییر کمک کرده؟ تغییر harness بدون اعتبارسنجی، عملکرد رو ۱۰ درصد پایین آورد. راه‌حل یه حلقه‌ی سه‌مرحله‌ایه به اسم propose, probe, compose: ایجنت یه بار کار رو انجام می‌ده و دو ویرایشگر از روی لاگ پیشنهاد اصلاح می‌دن، یکی برای مکانیک کار و یکی در نقش متخصص مثل وکیل. بعد harness جدید روی همون کار تست می‌شه و فقط تغییری می‌مونه که یه خطای مشخص رو درست کرده.

«توان دو» یعنی دو سطح بازگشت. سطح اول harness رو برای همین کار درست می‌کنه. سطح دوم بعد از هر کار، قواعد خیلی خاص رو دور می‌ریزه و ابزارها و درس‌های عمومی رو تو یه experience library نگه می‌داره، چون harness یه کار معمولاً به درد کار بعدی نمی‌خوره. تو redlining حقوقی و تطبیق بودجه، دقت تو یه قدم ۳۵ تا ۵۰ امتیاز بالا رفت و harness ساخته‌شده برای یه مدل قوی، روی مدل کوچیک‌تر فوراً ۱۷ امتیاز بهبود داد.

ولی هزینه داره: تست هر تغییر ۴ تا ۲۰ اجرای کامل ایجنت می‌خواد. اسکریپت چک‌کننده‌ای که خود ایجنت می‌نویسه ممکنه اشتباهش رو تأیید کنه؛ یه بار سه بار گفت «قبوله» ولی کار رد می‌شد. یه ایجنت با اینترنت آزاد هم خودش rubric نمره‌دهی بنچمارک رو از Hugging Face دانلود کرد. نویسنده توصیه می‌کنه به‌جای prompt بزرگ‌تر سراغ skill، اسکریپت چک‌کننده و قواعد سفت تو حلقه‌ی کنترل برید.

نکات کلیدی:

• Harness² از Google Research و Northwestern هست و بدون آموزش دوباره‌ی مدل کار می‌کنه.
• تو تست‌ها Claude Code تو کدنویسی و spreadsheet بهتر بود و Codex تو کارهای وب.
• تغییر harness بدون اعتبارسنجی، عملکرد رو ۱۰ درصد پایین آورد.
• تو redlining حقوقی و تطبیق بودجه دقت ۳۵ تا ۵۰ امتیاز بالا رفت.
• harness ساخته‌شده برای مدل قوی، روی مدل کوچیک‌تر ۱۷ امتیاز بهبود داد.
• هر تست بین ۴ تا ۲۰ اجرای کامل ایجنت هزینه داره.