‏برای قوی کردن مدل‌های ضعیف، تقلید کامل از مدل قوی‌تر جواب نمی‌ده

وقتی از یه مدل هوش مصنوعی برای کارهای عامل‌محور (agentic) استفاده می‌کنیم، harness یعنی پرامپت سیستم، ابزارها، قلاب‌های اجرا و مدیریت context دورش، به همون اندازه‌ی خود مدل رو نتیجه اثر می‌ذاره. یه روش شناخته‌شده اینه که این harness رو خودکار تکامل بدن (harness evolution) تا مدل‌های کوچیک‌تر و ارزون‌تر هم تو کارهای تخصصی خوب عمل کنن. این مقاله می‌خواد بفهمه وقتی هم harness رو تکامل می‌دیم و هم مدل رو فاین‌تیون می‌کنیم، این دوتا چطور باید با هم ترکیب بشن.

نویسنده‌ها رو هفت تا کار سازمانی، اول یه harness رو با یه مدل ضعیف‌تر تکامل دادن، بعد دیدن یه مدل قوی‌تر (expert) از همون harness حتی بهتر استفاده می‌کنه، که نشون می‌ده نظارت مدل قوی می‌تونه فاصله رو کم کنه. اما وقتی مدل ضعیف رو مستقیم با کل مسیرهای حل مدل قوی آموزش دادن، نتیجه برعکس شد: عملکرد مدل‌های Qwen3-Coder و Gemma، رو هر هفت تا کار، بین ۴ تا ۳۰ امتیاز افت کرد، با اینکه همین روش آموزش رو یه harness تکامل‌نیافته جواب می‌داد.

تحلیل نویسنده‌ها نشون می‌ده تقلید کامل از مسیر مدل قوی، دانش رو منتقل می‌کنه و استفاده از ابزارهای اسکفولد رو زیاد می‌کنه، اما هماهنگی بین مدل و harness رو به‌هم می‌زنه: مدل ضعیف سبک برنامه‌ریزی مدل قوی رو یاد می‌گیره بدون اینکه توانایی اجراش رو داشته باشه، و دیگه با harnessی که مطابق سبک برنامه‌ریزی خودش تکامل پیدا کرده بود جور درنمیاد.

راه‌حل پیشنهادی‌شون یه پایپلاین اصلاح آنلاین (on-policy) هست که یه عامل سطح بالا (meta-level MLE agent) اجراش می‌کنه: تو مسیر حل خود مدل ضعیف، فقط همون قدمی که شکست خورده رو پیدا می‌کنه و از مدل قوی می‌خواد فقط همون یه قدم رو دوباره بنویسه، نه کل مسیر رو. این کار سبک برنامه‌ریزی مدل ضعیف رو حفظ می‌کنه و در عین حال از مزیت‌های هم تکامل harness و هم آموزش مدل استفاده می‌کنه.

نکات کلیدی:

• رو هفت تا کار عامل سازمانی، تقلید کامل از مسیر مدل قوی، عملکرد رو ۴ تا ۳۰ امتیاز افت داد
• این افت رو مدل‌های Qwen3-Coder و Gemma دیده شد، با harnessی که برای مدل ضعیف تکامل پیدا کرده بود
• علت افت: مدل ضعیف سبک برنامه‌ریزی خودشو از دست می‌ده و با harness خودش جور درنمیاد
• راه‌حل: فقط قدم اشتباه تو مسیر خود مدل اصلاح بشه، نه کل مسیر بازنویسی بشه
• این روش با یه عامل meta-level MLE خودکار انجام می‌شه