‏هارنس‌هایی که خودشون رو بهینه می‌کنن

بن دیکسون در این مقاله استدلال می‌کنه که تمرکز بیش از حد روی مدل‌های زبانی، نقش اصلی رو پنهان کرده: کارایی یه اپلیکیشن هوش مصنوعی رو عمدتاً هارنس تعیین می‌کنه — منطق اجرا، پرامپت سیستمی، مدیریت حافظه و پیکربندی ابزارهایی که مدل رو به دنیای واقعی وصل می‌کنن.

به گفتهٔ نویسنده، آموزش مدل از صفر یا فاین‌تیون کردن برای بیشتر تیم‌ها گرون و پیچیده‌ست، پس هارنس در دسترس‌ترین اهرم کنترله. مشکل اینجاست که با سرعت انتشار مدل‌های تازه، دست‌کاری دستی هارنس برای هر مدل اصلاً مقیاس‌پذیر نیست.

برای درک اینکه هارنس چقدر پیچیده شده، نویسنده به لو رفتن سورس کلاد کد در مارس ۲۰۲۶ اشاره می‌کنه: تحلیل‌گرها دیدن که با یه wrapper سادهٔ چت طرف نیستن، بلکه یه سیستم چندایجنتی ارکستره‌شده‌ست که برنامه‌ریزی رو از اجرا جدا می‌کنه — یه ایجنت اصلی درخواست رو تحلیل می‌کنه و زیرایجنت‌های تخصصی به‌موازات سراغ تست و مستندات و دیباگ می‌رن.

فریم‌ورک اول، Self-Harness، یه حلقهٔ خودگردان سه‌مرحله‌ایه. اول استخراج ضعف: ایجنت روی یه دیتاست ارزیابی اجرا می‌شه و از لاگ هر فراخوانی ابزار و هر خطا، الگوهای شکست مخصوص همون مدل رو بیرون می‌کشه. بعد پیشنهاد وصله: تغییرات حداقلی و هدفمند در کد یا پرامپت. آخر اعتبارسنجی: تست رگرسیون سختگیرانه، و وصله‌ای که یه تسک قبلاً موفق رو بشکنه رد می‌شه.

نمونهٔ عملی‌ش روی Terminal-Bench-2.0 بوده: به‌جای اینکه آدم وصله بنویسه، خود حلقه از روی ردّ خطاها قواعد اجرایی تازه ساخته — انضباط تکرار دستور که اجرای پشت‌سرهم دستور تکراری رو ممنوع می‌کنه، سازوکاری که موقع خطای فایل، ایجنت رو مجبور به بازسازی فایل گمشده می‌کنه، و نگه‌داشتن متغیرهای محیطی بین نشست‌های شل. نتیجه: MiniMax M2.5 از ۴۰.۵٪ به ۶۱.۹٪ قبولی رسید، بدون دست‌زدن به وزن‌های مدل.

فریم‌ورک دوم، HarnessX از پژوهشگران شیائومی، هارنس رو یه محصول نرم‌افزاری رسمی می‌بینه و رفتار ایجنت رو به اجزای مستقل می‌شکنه — تجمیع context، مدیریت حافظه، اکوسیستم ابزار و کنترل جریان — که مثل قطعات لگو به هوک‌های چرخهٔ حیات وصل می‌شن. موتور تکاملش AEGIS نام داره با چهار نقش: Digester که محل شکست رو پیدا می‌کنه، Planner که استراتژی می‌چینه، Evolver که کد رو ویرایش و تست می‌کنه و Critic که جلوی reward hacking و پس‌رفت رو می‌گیره.

ویژگی متمایز HarnessX هم‌تکاملی هارنس و مدله. بهینه‌کردن تنهای هارنس به سقف داربست می‌خوره و آموزش تنهای مدل به سقف سیگنال آموزشی؛ HarnessX با یه بافر بازپخش مشترک و الگوریتم GRPO این دو رو در هم می‌بافه. در آزمایش‌ها، تکامل هارنس به‌تنهایی به‌طور میانگین ۱۴.۵٪ بهبود روی ALFWorld و GAIA و SWE-bench Verified داده و افزودن هم‌تکاملی مدل ۴.۷٪ دیگه اضافه کرده. کد پروژه هم روی گیت‌هاب باز شده و پیکربندیش با YAMLه.

جمع‌بندی نویسنده برای توسعه‌دهنده‌ها سه بخشه: نقش‌ها از «دست‌کاری دستی پرامپت» به «معماری بازخورد» جابه‌جا می‌شه — یعنی وقت بیشتری صرف لاگ‌گیری و ساخت دیتاست ارزیابی می‌شه؛ این مسیر یه جایگزین برای بزرگ‌کردن صرف مدله، چون در آزمایش‌های HarnessX مدل‌های کوچیک‌تر وزن‌باز مثل Qwen 9B بیشترین سود رو بردن؛ و یه هشدار عملی: خود این بهینه‌سازی سربار محاسباتی سنگینی داره، چون معمولاً یه مدل فرانتیر باید نقش متاایجنت بازنویس رو بازی کنه.

نکات کلیدی:

• هارنس یعنی منطق اجرا، پرامپت سیستمی، حافظه و ابزارها؛ در دسترس‌ترین اهرم کنترل
• Self-Harness در سه گام کار می‌کنه: استخراج ضعف، پیشنهاد وصله، اعتبارسنجی رگرسیونی
• MiniMax M2.5 روی Terminal-Bench-2.0 از ۴۰.۵٪ به ۶۱.۹٪ رسید، بدون تغییر وزن‌ها
• HarnessX با موتور AEGIS و GRPO، هارنس و مدل رو هم‌زمان تکامل می‌ده
• تکامل هارنس ۱۴.۵٪ و هم‌تکاملی با مدل ۴.۷٪ بهبود اضافه‌تر داده
• هزینهٔ پنهان: فاز بهینه‌سازی معمولاً به یه مدل فرانتیر گرون نیاز داره