کامپیوترهای مصنوعی برای آموزش ایجنتهای هوش مصنوعی
هوش مصنوعیخلاصهٔ کاملتر
یکی از چالشهای بزرگ در آموزش ایجنتهای هوش مصنوعی اینه که این ایجنتها باید بتونن در محیطهای کاری واقعی و شخصیسازیشده عمل کنن؛ جایی که همه چیز از ساختار پوشهها گرفته تا داکیومنتها، اسپردشیتها و پرزنتیشنها کاملاً به کاربر خاصی وابستهست. دادههای آموزشی برای این سطح از پیچیدگی بهسختی تهیه میشه — و همین جاست که «Synthetic Computers at Scale» وارد میشه.
این روش که توسط محققان مایکروسافت (Tao Ge، Baolin Peng، Hao Cheng و Jianfeng Gao) معرفی شده، یه متدولوژی مقیاسپذیر برای ساخت محیطهای کامپیوتری مصنوعیه. هر «کامپیوتر مصنوعی» شامل یه ساختار پوشهبندی واقعگرایانه و انواع آرتیفکتهای محتوامحوره — یعنی همون چیزهایی که در کامپیوتر یه آدم واقعی پیدا میشه.
فرآیند شبیهسازی اینطوریه: یه ایجنت اول «اهداف بهرهوری» تعریف میکنه که مخصوص همون کاربر فرضیه و نیاز به چندین deliverable حرفهای داره — حجمی از کار که انسان واقعی حدود یک ماه باهاش دستوپنجه نرم میکنه. بعد ایجنت دوم نقش همون کاربر رو میگیره و شروع میکنه به کار روی کامپیوتر؛ از پیمایش فایلسیستم برای پیدا کردن زمینه، تا هماهنگی با همکاران شبیهسازیشده، تا تولید آرتیفکتهای حرفهای.
در آزمایشهای اولیه، تیم تحقیقاتی ۱۰۰۰ کامپیوتر مصنوعی ساختن و روی همهشون شبیهسازیهای بلندمدت اجرا کردن. هر شبیهسازی بیش از ۸ ساعت زمان اجرای ایجنت نیاز داشته و بهطور میانگین بیش از ۲۰۰۰ تِرن (نوبت تعامل) داشته. این عدد نشون میده با چه مقیاسی از تعامل طرفیم.
نتیجه این شبیهسازیها، سیگنالهای یادگیری تجربی غنیایه که وقتی برای fine-tuning ایجنتها استفاده میشه، بهبود قابلتوجهی هم در ارزیابیهای داخلدامنه (in-domain) و هم خارجدامنه (out-of-domain) بهدست میده. یعنی ایجنت نهفقط کارهای مشابه رو بهتر انجام میده، بلکه تعمیمپذیریاش هم بالا میره.
جالبترین بخش این ایدهست که چون «پرسوناها» (هویتهای کاربری) در مقیاس میلیاردی در دسترسن، این روش میتونه در اصل به میلیونها یا حتی میلیاردها دنیای کاربری مصنوعی مقیاس پیدا کنه — البته با کامپیوت کافی. این یعنی پوشش گستردهای از مشاغل، نقشها، زمینهها و نیازهای بهرهوری متنوع.
محققان استدلال میکنن که ساخت مقیاسپذیر کامپیوترهای مصنوعی به همراه شبیهسازیهای در مقیاس بزرگ، یه زیرساخت پایهای بسیار امیدوارکننده برای «خودبهبودی ایجنت» و یادگیری تقویتی ایجنتیک در سناریوهای بهرهوری بلندمدته. این مقاله بهعنوان نسخه پیشنمایش منتشر شده و هنوز در حال توسعهست.
نکات کلیدی:
- روش Synthetic Computers at Scale محیطهای کامپیوتری واقعگرایانه با پوشهبندی و فایلهای محتوامحور میسازه
- دو ایجنت همکار میکنن: یکی وظایف بلندمدت تعریف میکنه، دیگری اونها رو اجرا میکنه
- هر شبیهسازی بیش از ۸ ساعت زمان اجرا و میانگین ۲۰۰۰+ تِرن داره
- ۱۰۰۰ کامپیوتر مصنوعی در آزمایش اولیه ساخته شد
- بهبود معناداری در عملکرد ایجنت هم روی تسکهای مشابه و هم تسکهای جدید مشاهده شد
- در اصل میشه این روش رو به مقیاس میلیاردی از دنیاهای کاربری مصنوعی رسوند
