‏پریم ایجنت: هارنسی که ARC-AGI رو درنوردید

تو یه ارائه تو رویداد YC Paper Club، پریم ایجنت به‌عنوان یکی از دو سیستمی معرفی شده که امتیاز بنچمارک ARC-AGI رو خیلی بالاتر از توان خود مدل زبانی برده. طبق این ارائه، Claude Opus با هارنس‌های قبلی رو نسخه خصوصی و سخت این بنچمارک حدود ۳۰ درصد می‌گرفته؛ با هارنس پریم ایجنت، همون خانواده مدل بالای ۹۵ درصد زده. هارنس AVO از Nvidia هم تو همین بازه به ۱۰۰ درصد رسیده. نکته مهم اینه که هیچ وزن جدیدی درگیر نبوده؛ کل پیشرفت از نحوه چیدن استدلال، ابزار و خودتصحیحی دور مدل اومده.

پریم ایجنت رو یه «هارنس v1» ساده گسترش می‌ده: یه اسپک ایجنت (پرامپت سیستمی با محدودیت نوبت و بودجه فراخوانی ابزار)، لیست ابزار، لیست مهارت و لیست ساب‌ایجنت، تو یه حلقه که مدام کانتکست رو می‌سازه، مدل رو صدا می‌زنه، ابزارها رو اجرا می‌کنه و نتیجه رو برمی‌گردونه تو کانتکست. این حلقه به‌تنهایی «هارنس استاتیک» حساب می‌شه؛ قوی ولی یه‌بار ساخته می‌شه و ثابت می‌مونه.

چیزی که پریم ایجنت رو فرق می‌ده اینه که خود هارنس هم حین اجرا قابل تنظیمه: ساب‌ایجنت‌هایی که موازی و پایدار اجرا می‌شن، حافظه‌ای که به‌جای فقط اضافه‌شدن به کانتکست قابل خوندن و نوشتنه (وام‌گرفته از ایده MemGPT)، مهارت‌هایی که از توالی‌های ابزار موفق قبلی تقطیر می‌شن (شبیه مقاله Voyager)، و توانایی فراخوانی بازگشتی خودش برای حل زیرمسئله‌ها. رو بنچمارکی مثل ARC-AGI، این ساختار اجازه می‌ده سیستم امتحان کنه، ارزیابی کنه و دوباره تلاش کنه.

نویسنده تو ادامه توضیح می‌ده چرا هارنس این‌جا مهم‌تر از خود مدل بوده: مدل‌ها تو یادگیری درون‌کانتکستی تا حدود ۴۰ تا ۵۰ مثال خوب عمل می‌کنن و بعدش بازدهشون افت می‌کنه؛ از اون به بعد معمولاً باید سراغ فاین‌تیون سنگین‌تر رفت. هارنس یه اهرم متفاوته: به‌جای بازآموزی مدل، نحوه استفاده ازش رو بازآرایی می‌کنه، یعنی چی بهش نشون می‌دی، چه ابزاری داره، چطور کار خودشو چک می‌کنه و چند بار می‌تونه امتحان کنه. رو ARC-AGI همین اهرم باعث شده همون مدل از ۳۰ به بالای ۹۵ درصد بره.

به گفته ارائه، توسعه هارنس دو فاز داشته: فاز اول، تقریباً از ۲۰۱۹ تا یه سال پیش، «هارنس استاتیک» بوده؛ مهندس‌ها دستی فراخوانی ابزار، زنجیره فکر و حافظه رو اضافه می‌کردن ولی خود هارنس تغییر نمی‌کرد. فاز دوم که تقریباً شش ماه اخیره و پریم ایجنت توش جا می‌گیره، هارنس‌هایی هستن که خودشون رو حین استفاده تنظیم می‌کنن؛ مثلاً یاد می‌گیرن کدوم پرامپت سیستمی بهتر جواب می‌ده (شبیه DSPy)، یا مدیریت حافظه و تفویض به ساب‌ایجنت‌ها رو بر اساس نتیجه تلاش‌های قبلی بازآرایی می‌کنن.

براساس همین اعداد، ساختن یه هارنس مثل پریم ایجنت بیشتر برای تسک‌هایی می‌ارزه که نیاز به امتحان‌وخطا و تطبیق سریع با چیز تازه دارن، دقیقاً همون چیزی که ARC-AGI اندازه می‌گیره. برای تسک‌هایی که مدل از قبل دانش قوی داره و یه جواب خوب کافیه، هارنس پیچیده با ساب‌ایجنت و فراخوانی بازگشتی فقط تأخیر و هزینه اضافه می‌کنه بدون این‌که لزوماً دقت رو بالا ببره.

نکات کلیدی:

• Claude Opus با هارنس‌های قبلی رو ARC-AGI حدود ۳۰ درصد می‌گرفته؛ با هارنس پریم ایجنت همون مدل بالای ۹۵ درصد زده.
• هارنس AVO از Nvidia تو همون بازه به ۱۰۰ درصد رسیده، بدون هیچ وزن جدیدی.
• ساختار پریم ایجنت شامل ساب‌ایجنت موازی، حافظه قابل خوندن‌ونوشتن، مهارت‌های تقطیرشده و فراخوانی بازگشتیه.
• مدل‌ها تو یادگیری درون‌کانتکستی حدود ۴۰ تا ۵۰ مثال قبل از افت بازده تحمل می‌کنن.
• هارنس پیچیده برای تسک‌های امتحان‌وخطا مثل ARC-AGI ارزش داره، نه لزوماً برای هر تسکی.