‏Harness²: گوگل هارنس ایجنت رو خودکار بهتر می‌کنه

harness یعنی همهٔ سیستمی که دور یه مدل ساخته می‌شه تا بتونه مثل ایجنت کار کنه: پرامپت‌ها، ابزارها، حافظه، skillها و هماهنگی بینشون. Google Research حالا Harness² رو منتشر کرده، یه فریم‌ورک plug-and-play برای بهتر کردن خودکار همین سیستم. هدفش «دنیای باز»ـه، یعنی جایی که ایجنت با کارهایی روبه‌رو می‌شه که موقع طراحی هارنس اصلاً دیده نشده بودن. وزن‌های مدل ثابت می‌مونه و فقط هارنس عوض می‌شه.

این فریم‌ورک دو سطح بازگشت داره. تو سطح کار، یه مرحلهٔ Propose–Probe–Compose اجرا می‌شه: چند تغییر روی هارنس پیشنهاد می‌شه، اثرشون روی همون کار امتحان می‌شه و از مقایسهٔ رفتار اجراها یه هارنس بهتر ساخته می‌شه. نکتهٔ مهم اینه که این کار به جواب درست (ground truth) نیاز نداره. تو سطح هارنسینگ، یه «هارنس بهبود» دائمی هارنس‌های انتخاب‌شده و درس‌هایی که شواهد پشتشونه رو نگه می‌داره تا کارهای بعدی بهتر شروع بشن.

بازگشت سطح کار به دو شکل اجرا می‌شه. حالت parallel چند هارنس کاندید رو هم‌زمان امتحان می‌کنه و از شواهدشون ترکیب می‌سازه، یعنی عرضی‌تر می‌گرده. حالت sequential هارنس اصلاح‌شده رو تو چند مرحلهٔ پشت‌سرهم جلو می‌بره، یعنی عمیق‌تر اصلاح می‌کنه. پارامتر --k بودجهٔ این بازگشته و طبق گزارش تیم، بیشتر کردنش بهبود بیشتری میاره.

Harness² هشت جزء قابل ویرایش دور مدل داره: system prompt، guardrailها، حافظه، راهنمای ابزار، subagentها، skillها، اسکریپت‌ها و پلاگین‌ها. تو سه بنچمارک حرفه‌ای و چهار ترکیب مدل و هارنس، فقط یه مرحلهٔ Harness² عملکرد GLM-5 و Gemini 3.5 Flash رو نسبت به هارنس پایه بالا برد: تا ۱۱.۵ امتیاز رو WorkBuddy-Bench، ۴.۵ امتیاز رو JobBench و ۱۱.۸ واحد درصد رو نرخ قبولی جزئی LAB.

برای اجرا لینوکس، Python 3.12 و ابزار uv لازمه. یه دموی محلی هم هست که بدون کلید مدل اجرا می‌شه. اجراکننده‌ها OpenCode (پیش‌فرض) و Codex هستن. یه هشدار مهم تو README هست: دسترسی شبکهٔ executorها محدود نیست و Codex با sandbox خاموش اجرا می‌شه، پس قبل از ارزیابی باید شبکه رو محدود کرد تا ایجنت نتونه جواب‌ها و معیارهای نمره‌دهی بنچمارک رو آنلاین پیدا کنه. اجراهای مبتنی بر مدل هم هزینهٔ API دارن.

نکات کلیدی:

• Harness² هارنس ایجنت رو بدون تغییر وزن مدل و بدون ground truth بهتر می‌کنه
• دو سطح بازگشت: Propose–Probe–Compose برای هر کار و یه هارنس بهبود دائمی برای کارهای بعدی
• بهبود تا ۱۱.۵ امتیاز رو WorkBuddy-Bench، ۴.۵ رو JobBench و ۱۱.۸ واحد درصد رو LAB
• پشتیبانی از حالت parallel و sequential و executorهای OpenCode و Codex
• نیازمندی‌ها: لینوکس، Python 3.12، uv و برای بنچمارک‌ها Node.js 20+ و Google Cloud CLI
• لایسنس Apache 2.0 و محصول رسمی پشتیبانی‌شدهٔ گوگل نیست