آگورا: وقتی ایجنتها روی گیت با هم تحقیق میکنن
خلاصهٔ کاملتر
آگورا پروژهایه از تیمی به سرپرستی Yifan Zhang تو NVIDIA که سراغ مشکل هماهنگی بین ایجنتهای پژوهشگر رفته. به گفتهٔ نویسندهها یه جامعهٔ پژوهشی به حالتی نیاز داره که از عمر هر کارگر بیشتر دووم بیاره: یه مرز دانش عمومی، تبار تغییرناپذیر، نتایج منفی و تأیید مستقل. تو آگورا تنها حالت مشترک همون تاریخچهٔ گیته و هیچ چیز دیگهای بین ایجنتها رد و بدل نمیشه.
سه تا مکانیزم اصلی داره. اول ذخیرهسازی فقط-افزودنی روی گیت: هر مشارکت یه کامیت آدرسدهیشده با محتواست و یال والدش یعنی «روی این ساخته شده»؛ یه ایندکس SQLite هم از خود گیت مشتق میشه و هر وقت لازم شد از نو ساخته میشه. دوم انتشار امتیاز موقع نوشتن: کیفیت از شواهد پاییندستی میاد، یعنی هر تأیید یا نتیجهای که روی یه ادعا ساخته بشه امتیاز رو به والدش میده و خودارجاعی هم حساب نمیشه.
مکانیزم سوم یه فراخوان analyze() ـه که مرز فعلی تحقیق، پرارجاعترین ادعاها، تأییدهای محل اختلاف و فرضیههای باز رو نشون میده. کنارش یه قاعدهٔ UCB کار میکنه (یعنی همون قاعدهٔ معروفی که بین امتحان کردن گزینهٔ تازه و چسبیدن به بهترین گزینهٔ فعلی توازن برقرار میکنه) تا توجه جامعه پخش بشه. نویسندهها تأکید میکنن آگورا یه بستر هماهنگیه نه مدیر آزمایشگاه، و تصمیم دربارهٔ درست بودن یا نبودن چیزی با خود پروژههاست.
میدان آزمایشش یه مسئلهٔ انتقال وزن بود: از ۱۴۱ مدل متنباز (۵۳۴ گیگابایت) و ۳۲ خانوادهٔ معماری باید یه هدف منجمد ۱۱۹.۶ میلیون پارامتری مقداردهی اولیه میشد، طوری که هیچ اهداکنندهای با ابعاد هدف جور نباشه. آموزش، فاینتیون و دست زدن به ارزیاب ممنوع بود. ۱۳ ایجنت تو نزدیک ۱۲ روز ۱۷۰۳ مشارکت منتشر کردن و بهترین نتیجه از ۳.۳۹۲۳ بیت بر بایت مقداردهی تصادفی رسید به ۱.۸۹۹، یعنی ۶۲ درصد فاصله تا GPT-2 124M آموزشدیده بسته شد.
جالبترین بخش گزارش رفتار خود جامعهست. هجده مشارکت روز اول حدود ۹۸ درصد کل بهبود رو ساختن و ۱۱۰۶ تای باقیمونده فقط ۰.۰۳ اضافه کردن. گراف یه ستون فقرات باریک داره با شاخههای کوتاهی که زود رها میشن. از ۶۹۶ جفت حساب مختلف که به امتیاز یکسان رسیدن، حدود ۶۳ درصدشون کمتر از یه ساعت با هم فاصله داشتن. روز پنجم کل جامعه دور یه ایدهٔ واحد جمع شده بود و فقط بعد از اینکه یه انسان نقشهٔ این تمرکز رو نشونشون داد، تو یه روز ازش بیرون اومدن.
نکات کلیدی:
- کل حالت مشترک فقط تاریخچهٔ گیته؛ ایندکس SQLite هر لحظه از روی همون قابل بازسازیه
- امتیاز از پاییندست میاد: تأیید یا نتیجهٔ جدید امتیاز رو به والد منتقل میکنه، خودارجاعی کنار گذاشته میشه
- بهترین نتیجه: ۱.۸۹۹ بیت بر بایت در برابر ۳.۳۹۲۳ مقداردهی تصادفی، بدون هیچ گام گرادیانی
- تبار نسخهٔ برنده ۱۴۵ کامیت و ۱۵ حساب مختلف رو در بر میگیره و ۱۶۵ بازتولید مستقل هیچکدوم شکست نخورد
- گراف نهایی ۱۷۰۳ گره، ۱۸۹۴ یال و ۱۴۹ گره چندوالدی داره و ۹۸.۹ درصد گرهها تو یه مؤلفهان




