‏هارنس یعنی چی و چرا مهم‌تر از خود مدل شده

هارنس (agent harness) یعنی کد و ساختاری که دور یه مدل زبانی پیچیده می‌شه و پیش‌بینی خام متن رو تبدیل می‌کنه به رفتار هدف‌مند: چی وارد context مدل بشه، چه ابزارهایی در دسترسش باشن، چندتا نوبت (turn) داشته باشه، و آخرش با خروجیش چیکار بشه. وزن‌های خود مدل تغییری نمی‌کنن؛ طبق این مقاله، بیشتر پیشرفت عملی هوش مصنوعی تو چندسال اخیر از همین هارنس اومده، نه از بهتر شدن خود مدل. رو بنچمارک ARC-AGI (که طراحی شده برای سنجش استدلال رو الگوهای ناآشنا، نه دونستن حفظی) یه مدل ثابت فقط با تغییر هارنس از حدود ۳۰٪ به ۹۵٪ یا بیشتر رسیده، و بعضی سیستم‌ها گفته میشه رو بخشی از این بنچمارک به ۱۰۰٪ هم رسیدن.

هارنس اولیه، همون حلقه‌ی ساده‌ای بود که GPT-2 تو سال ۲۰۱۹ باهاش کار می‌کرد: تولید توکن تا رسیدن به نشونه‌ی پایان، بدون ابزار، بدون حافظه، بدون هیچ مرحله‌ی استدلال میانی. بعدش few-shot prompting (دادن چندتا مثال حل‌شده تو context) و chain-of-thought اضافه شدن؛ این دومی به مدل اجازه می‌داد به‌جای پاسخ مستقیم، استدلالش رو تو چندتا توکن باز کنه و مرحله‌به‌مرحله جلو بره. مرحله‌ی بعد، ابزار و حافظه بود: پروژه‌هایی مثل WebGPT و Toolformer به مدل اجازه دادن که یه تابع صدا بزنه، به‌جای اینکه همه‌چی رو تو وزن‌هاش حساب کنه، و MemGPT یه حافظه‌ی قابل‌ویرایش (نه فقط اضافه‌شدنی) بهش داد. پروژه‌ی Voyager هم ایده‌ی «مهارت» رو معرفی کرد: هارنس می‌تونست یه توالی موفق از اکشن‌ها رو ذخیره کنه، اسم‌گذاری کنه و بعداً دوباره ازش استفاده کنه.

یه مسیر موازی، خوداصلاحیه: ابزارهایی مثل ReAct، Self-Refine و Reflexion به عامل اجازه میدن خروجی خودش رو قبل از نهایی کردن بررسی کنه، و اگه اشتباهی پیدا شد دوباره تلاش کنه. این ایده به ساختارهای چندعاملی هم رسید، جایی که یه عامل اصلی می‌تونه زیرعامل‌هایی برای بخش‌های مختلف یه کار بزرگ بسازه و مدیریتشون کنه؛ به این هارنس ثابت و طراحی‌شده‌ی دستی، بعضاً «هارنس نسل یک» میگن. جدیدترین رده اما، هارنس‌های خوداصلاح‌گرن: به‌جای اینکه آدم دستی هارنس رو تنظیم کنه، خودِ سیستم پرامپت یا ساختارش رو عوض می‌کنه. DSPy یه نمونه‌ی شناخته‌شده‌ست؛ به‌جای تنظیم دستی پرامپت، رو چندتا مثال آموزشی جستجو می‌کنه، پرامپت‌های کاندید می‌سازه، ترکیبشون می‌کنه، ارزیابی می‌کنه و تکرار می‌کنه؛ چیزی شبیه برنامه‌نویسی ژنتیکی، نه backpropagation.

نکات کلیدی:

• هارنس یعنی حلقه، لیست ابزار، قوانین حافظه و محدودیت نوبت دور یه مدل ثابت؛ وزن‌های مدل عوض نمی‌شن.
• رو بنچمارک ARC-AGI، فقط با تغییر هارنس امتیاز از ~۳۰٪ به ۹۵٪+ رسیده.
• مسیر تاریخی: حلقه‌ی ساده‌ی GPT-2 (۲۰۱۹) → few-shot → chain-of-thought → ابزار (WebGPT، Toolformer) → حافظه‌ی قابل‌ویرایش (MemGPT) → مهارت‌های ذخیره‌شدنی (Voyager) → خوداصلاحی (ReAct، Reflexion) → چندعاملی → خوداصلاح‌گر (DSPy).
• DSPy با یه فرایند شبه‌ژنتیکی (تولید، ترکیب، ارزیابی، تکرار) پرامپت‌های خودش رو خودکار پیدا می‌کنه.
• بعضی پژوهشگرا طراحی هارنس رو صرفاً «مهندسی پرامپت» می‌دونن، ولی نتایج ARC-AGI بیشتر آدما رو قانع کرده که یه مسئله‌ی فنی جدیه.