Dream RSI؛ یادگیری از آزمایش‌های گذشته
هوش مصنوعی
گوگلخلاصهٔ کامل‌تر
تو این مقاله اومده که Dream RSI یه رویکرد پژوهشیه از محققای گوگل و همکارای دانشگاهی‌شون که می‌ذاره یه سیستم هوش مصنوعی استراتژی خودش برای هدایت کشف علمی رو بهتر کنه، بدون اینکه آزمایش تازه‌ای اجرا کنه. به جاش سابقهٔ آزمایش‌هایی که قبلاً انجام شدن رو دوباره پخش و ترکیب می‌کنه تا مسیرهای بهتری توش پیدا کنه. چون داده‌ها از قبل وجود دارن، این گشت‌وگذار تقریباً هیچ هزینهٔ محاسباتی نداره.
چیزی که نشونه رفته خود آزمایش نیست، بلکه تصمیم‌گیری دربارهٔ آزمایش بعدیه. به گفتهٔ نویسنده این تصمیم معمولاً با یه exploration policy انجام میشه، یعنی همون دفترچهٔ قانونی که می‌گه بعدی چی رو امتحان کن. این دفترچه دستی نوشته شده و ثابته، پس از تجربهٔ خودش چیزی یاد نمی‌گیره و مدام هزینهٔ بن‌بست‌های تکراری رو می‌ده.
حرکت اصلی اینه که درخت آزمایش‌های گذشته به‌عنوان یه شبیه‌ساز دقیق در نظر گرفته میشه، نه یه تقریب یادگرفته‌شده. سیستم به یه نقطهٔ قبلی تو درخت برمی‌گرده، می‌ذاره یه policy از همون‌جا جلو بره و خودش انتخاب کنه چه آزمایشی رو با چه ترتیبی دنبال کنه، بعد نتیجه‌ش رو با چیزی که واقعاً تو تاریخ اتفاق افتاده مقایسه می‌کنه. آخرش فقط بهترین policy به فرایند واقعی برمی‌گرده.
قسمت بازگشتی ماجرا مرحلهٔ آخره: هر بار نتیجهٔ جدید به‌عنوان یه دنیای تازه به استخر دنیاهای شبیه‌سازی‌شده اضافه میشه، پس policyهای بعدی روی تجربهٔ خیلی بیشتری آموزش می‌بینن. یعنی هر دور، شبیه‌سازی غنی‌تر و سیاستی که روش تمرین می‌کنه تیزتر میشه. تو مقایسه‌ها نسخه‌ای به اسم Gemini RSI که روی مدل Gemini 3.7 Flash ساخته شده بهترین نمره رو بین روش‌های بررسی‌شده گرفت.
ولی این یه برد کامل نیست. AlphaEvolve، سیستم تکاملی قبلی گوگل، هنوز تو بعضی مسئله‌های بهینه‌سازی ریاضی جلوتره، که یعنی این دوتا بیشتر مکمل همن تا جایگزین. دو رفتار دیگه هم جالب بود: سیستم تطبیقیه و وقتی پیشرفت راحته توان محاسباتی کمتری خرج می‌کنه و وقتی جست‌وجو گیر می‌کنه بیشتر؛ و راهنمایی دادن به اجنت بر اساس کارهای قبلیش نتیجه رو بدتر کرد، یعنی گشت‌وگذار آزاد بهتر جواب داد.
نکات کلیدی:
- Dream RSI به جای بهبود خود مدل، exploration policy یعنی استراتژی انتخاب آزمایش بعدی رو بهتر می‌کنه.
- درخت آزمایش‌های گذشته به‌عنوان شبیه‌ساز دقیق استفاده میشه، پس تست هزاران استراتژی عملاً هزینهٔ اجرایی نداره.
- نسخهٔ Gemini RSI روی مدل Gemini 3.7 Flash بهترین نمره رو بین روش‌های مقایسه‌شده گرفت.
- AlphaEvolve تو بعضی وظایف بهینه‌سازی ریاضی از Dream RSI بهتر عمل کرد.
- دادن راهنمایی اضافه به اجنت نتیجه رو بدتر کرد و گشت‌وگذار آزاد بهترین عملکرد رو داشت.
- AlphaEvolve قبلاً روی زمان‌بندی دیتاسنترهای گوگل (سیستم Borg) به کار رفته و صرفه‌جویی واقعی ساخته بود.
