جهش بعدی هوش مصنوعی: یاد گرفتن سر کار
هوش مصنوعیClaude Opus 4.8خلاصهٔ کاملتر
شرط پژوهشی امروز لابراتوارها به روایت دوارکش پاتل سادهست: اگه مدل رو روی میلیونها کارِ قابلراستیآزمایی و توی هزاران محیط RL آموزش بدیم، عملاً AGI ساختیم — چون این آموزش مهارتهای عمومیِ حل مسئله میسازه. خوشبینها میگن ناکارآمدی نمونهای و نبود یادگیری پیوسته رو هم مثل بقیهی «مسائل بنیادی» NLP، سیل محاسبات از سر راه برمیداره.
نویسنده برای نقد این شرط، یه معمای جالب رو وسط میکشه: چرا پیشرفت تو computer use اینقدر کنده، درحالیکه کاملاً راستیآزماییپذیره (سفارش ثبت شد یا نه؟ مالیات ارسال شد یا نه؟). جوابش اینه که راستیآزماییپذیری کافی نیست؛ حوزه باید grindable هم باشه — یعنی بشه هزارتا رولاوت موازی روی یه شبیهساز قطعی و قابلبازپخش اجرا کرد.
تو کدنویسی این کار راحته: هزار ایجنت هر کدوم با کانتینر یکسان خودشون به یه ریپازیتوری حمله میکنن. ولی نمیشه هزار ایجنت رو فرستاد یه فرایند پرداخت رو تو آمازون تست کنن. تازه اگه کلونهای وفادار Slack و Gmail بسازی هم مسئله فقط برای همون حوزهها حل میشه. سؤال بزرگتر اینه: محیط RL برای «ساختن یه کسبوکار» یا «بردن یه پروندهی قضایی» یا «بردن انتخابات» چیه؟ اونها رولاوت واقعی میخوان و پاداششون شاید ماهها بعد معلوم بشه.
پاتل میگه چون دادهی این حوزهها پراکنده و بیقاعدهست، بدون کارایی نمونهای بالا نمیشه توشون ماهر شد. یه نقلقول از داریو (تو پادکست خودش) رو هم شاهد میآره: اگه روی طول متن کوتاه آموزش بدی و روی متن بلند سرو کنی، افت میبینی — که به گمان نویسنده یعنی تعمیم از افق کوتاه به افق بلند، بینهایت قوی نیست.
نکتهی مرکزی مقاله اینه که ۳۰ تا ۵۰ درصد محاسبات یه لابراتوار صرف inference میشه و این محاسبات عملاً هیچ کمکی به بهتر شدن مدل نمیکنه — درحالیکه دقیقاً همونجاست که ارزشمندترین بیتهای اطلاعات آشکار میشن: تو سازمانها واقعاً چه خبره، مدل رو برای چی به کار میگیرن، و کجاها خطا میکنه. تشبیهش اینه: یه دانشجوی نابغه داریم که هرگز اجازهی کارآموزی نداشته و ما فقط بهش مطالعهی موردی میدیم.
راهحل باید تجربه رو به وزنها برگردونه، چون KV cache بینهایت رشد نمیکنه و آدمها هم اینطوری یاد نمیگیرن: یادگیری انسان فشردهسازیه، نه بایگانی کامل. گزینهای که نویسنده روش مانور میده on-policy self-distillation ـه: مدل پایه رو تشویق میکنیم همون پیشبینیهایی رو بکنه که نسخهی باتجربهی خودش — بعد از یه جلسهی طولانی پر از زمینه — میکرد. مزیتش اینه که به پاداش قابلراستیآزمایی نیاز نداره و سیگنال نظارتیاش خیلی چگالتر از RL خامه.
ایدهی دوم و بهمراتب سفتوسختتر رو «رؤیا دیدن» مینامه: مدل با خرج محاسبات، برای خودش محیط تمرین میسازه و مثل EfficientZero، بهازای هر گام واقعی دهها بازی شبیهسازیشده تو ذهنش انجام میده. اگه جواب بده، محور چهارم مقیاسپذیری میشه، کنار pretraining و RL و محاسبات زمان استنتاج — بهجای /compact، دکمهی /dream.
تصویرش از پایان ۲۰۲۷ این شکلیه: ایجنتی که RLVR بهقدر کافی باکفایت بارش آورده، فرستاده میشه سر کار واقعی؛ طول زمینه اونقدر رشد کرده که یه هفتهی کامل باهات همکار باشه؛ آخر هفته بهش شست بالا یا پایین میدی و مدل پایه هرچی یاد گرفته رو تقطیر میکنه تو وزنها. از اون به بعد، بهتر شدن مدل عمدتاً از تجربهی استقرار میآد، نه از آموزش قبل از انتشار — که به گفتهی نویسنده هم هیجانانگیزه، هم ترسناک.
نکات کلیدی:
- راستیآزماییپذیری کافی نیست؛ حوزه باید «قابل سابیدن» باشه: شبیهساز قطعی و رولاوت موازی
- کندی computer use نشونهی همین محدودیته، نه فقط کمبود دادهی چندوجهی
- ۳۰ تا ۵۰ درصد محاسبات صرف inference میشه و هیچ سهمی تو بهتر شدن مدل نداره
- یادگیری درونزمینهای کارآمده ولی حافظهبره؛ بازگردوندنش به وزنها مسئلهی اصلیه
- on-policy self-distillation: مدل پایه رو به تطبیق با نسخهی باتجربهی خودش آموزش بده
- «رؤیا دیدن»: مدل برای خودش محیط تمرین بسازه — محور چهارم مقیاسپذیری
