‏چطور یه گروه از ایجنت‌ها رو با یادگیری تقویتی آموزش بدیم؟

تیم General Reasoning تو این مقاله سراغ یه سؤال رفته که به گفته خودشون کار عمومی زیادی روش نشده: چطور یه swarm (یعنی گروهی از ایجنت‌ها که برای یه هدف مشترک با هم کار می‌کنن) رو با یادگیری تقویتی (RL) آموزش بدیم؟ اون‌ها قبلاً روشی به اسم RLCR منتشر کرده بودن. تو این روش همه ایجنت‌ها یه policy مشترک دارن، همه یه پاداش جمعی یکسان می‌گیرن، و فشار زمانی باعث می‌شه به هماهنگی تشویق بشن.

نویسنده‌ها این رو با مدل‌های reasoning مقایسه می‌کنن. اونجا RL به مدل یاد داد قبل از جواب دادن بیشتر فکر کنه، مثلاً کارشو چک کنه یا برگرده عقب. ولی به گفته مقاله این نتیجه خودبه‌خود نمیاد. مثلاً با یه تنظیم PPO معمولی که gamma یا lambda کمتر از ۱ داره، طول استدلال بیش از حد جریمه می‌شه و این الگو دیده نمی‌شه. مشکل اینه که مدل‌های reasoning ترتیبی کار می‌کنن و برای کارهای طولانی کندن.

برای کار موازی هم همین قضیه هست: پاداش کار به‌تنهایی هیچ دلیلی برای موازی کار کردن نمی‌ده. پس باید سریع‌تر تموم کردن، سود داشته باشه. یه راه، جریمه مستقیم تأخیره که DeepSeek-V4.1-Flash هم ازش استفاده کرده. ولی مقاله می‌گه این روش ممکنه با چیزهایی مثل میزان استدلال تداخل کنه و خیلی به حد زمانی بستگی داره. راهی که خودشون تو مدل Avalon-M1 رفتن یه سقف زمانی ساده‌ست: وقتی rollout (یعنی یه بار اجرای کامل کار) به سقف رسید، هرچی تا اون لحظه پاداش گرفته حساب می‌شه.

این سقف زمانی تو طول آموزش کم‌کم بیشتر می‌شه تا گروه وقت داشته باشه هزینه اولیه هماهنگی رو جبران کنه. برای این کار محیط‌هایی ساختن که هر لحظه بشه پیشرفت رو اندازه گرفت، مثلاً تعداد تست‌های پاس‌شده تو یه پروژه نرم‌افزاری. برای ارتباط هم ابزارهای ساده دادن: پیام مستقیم بین ایجنت‌ها و کانال‌های عمومی. نویسنده‌ها معتقدن این ابزارها باید ساده بمونن تا ایجنت‌ها خودشون بهترین روش همکاری رو پیدا کنن، نه اینکه ساختار از اول بهشون تحمیل بشه.

نتیجه‌ها تو Avalon-M1: یه گروه با ۵ تا ۸ ایجنت اول زیر میانگین کار مفید انجام می‌داد، ولی تا قدم ۲۰۰ تقریباً دو برابر میانگین کار می‌کرد. با بودجه توکن برابر، یه ایجنت تنها ۴ برابر بیشتر طول می‌کشه تا به همون نتیجه برسه. تو EdgeBench یه گروه ۸ نفره بعد از حدود ۲.۴ ساعت از ایجنت تنها جلو می‌زنه.

مقاله چند مشکل باز هم اسم می‌بره. مهم‌ترینش «مشکل روستا»ست: آموزش با حداکثر ۹ ایجنت بوده ولی swarmها الان با صدها یا هزاران ایجنت اجرا می‌شن، و معلوم نیست چی از مقیاس کوچیک به بزرگ منتقل می‌شه. پاداش جمعی یکسان هم سیگنال زمختیه و تشخیص اینکه کار خوب مال کدوم ایجنت بوده سخت‌تر می‌شه.

نکات کلیدی:

• روش RLCR از یه policy مشترک و پاداش جمعی یکسان برای همه ایجنت‌ها استفاده می‌کنه.
• Avalon-M1 به جای جریمه تأخیر از سقف زمانی استفاده می‌کنه که تو طول آموزش بیشتر می‌شه.
• با بودجه توکن برابر، ایجنت تنها ۴ برابر کندتر از گروه به نتیجه می‌رسه.
• تو EdgeBench گروه ۸ نفره بعد از حدود ۲.۴ ساعت از ایجنت تنها جلو می‌زنه.
• آموزش با حداکثر ۹ ایجنت بوده، در حالی که swarmهای واقعی صدها ایجنت دارن.
• مقاله کامل بعد از تموم شدن آموزش تو چند هفته آینده منتشر می‌شه.