تعمیمپذیری مدلها تو هارنس زندگی میکنه، نه تو ترنسفورمر
هوش مصنوعیClaude Opus 5خلاصهٔ کاملتر
نویسنده با یه تشخیص شروع میکنه: پستترینینگ مدرن به یه پارادایم زوربازو تبدیل شده که مدام محیط بیشتر و افق آموزش بلندتر جمع میکنه، و دلیلش هم اینه که ترنسفورمرهای فرانتیر همچنان تو تعمیم ترکیبی ضعیفن — یعنی حل مسئلهٔ دیدهنشده از راه ترکیب مسئلههای آشنا. به گفتهٔ اون تا وقتی مدلها درسهای جدا رو با هم ترکیب نکنن، هر دامنهٔ جدید سرمایهگذاری دادهٔ خودش رو میخواد و بازدهی اسکیل کردن کندتر از حد ممکن میمونه.
استدلال مرکزی مقاله اینه که تعمیمپذیری کار هارنس هست، نه کار خود شبکه. هارنس همون برنامهایست که بین دنیای بیرون و شبکه نشسته: تصمیم میگیره وضعیت محیط — که میتونه دلخواه بلند و پیچیده باشه — چطور به یک یا چند ورودی مدل رمزگذاری بشه و اکشن بعدی چطور مشخص بشه. نویسنده میگه وظیفهٔ اصلی هارنس حمل یه بایاس استقرایی سطحبالاست که مسئلهٔ ناآشنا رو به ترکیبی از مسئلههای سادهتر کاهش بده.
معیار پیشنهادیاش دقیق و قابل سنجشه: هارنس خوب هر فراخوانی مدل رو محلاً درونتوزیع (locally in-distribution) نگه میداره، یعنی هر کال جداگانه پرامپتی میبینه که نسبت به دادهٔ آموزشش درونتوزیعه. به نوشتهٔ اون هارنسهای امروزی مثل Claude Code و Codex همینجا کم میارن، چون بنیاداً کانتکست رو با اطلاعات تسک، خروجی ابزارها و ریزنینگ درهم پر میکنن؛ این تاریخچهٔ متورم سریع از توزیع آموزش میزنه بیرون و همون چیزی میشه که بهعنوان «context rot» میشناسیم.
بهجاش پیشنهاد میده هارنس کاری کنه که تسکهای ساختاراً مشابه از دید مدل یکریخت دیده بشن. فرضیهٔ فنی اینه که هارنس یه رابطهٔ همارزی روی فضای تسکها القا میکنه و تسکهای شبیه هم تو یک کلاس همارزی میافتن. برای آزمایش، نویسنده با یادگیری تقویتی یه Recursive Language Model آموزش میده: هارنسی که کانتکست رو بار میکنه بیرون و اجرا رو به تجزیهٔ برنامهای و سابکالهای بازگشتی میسپاره. دو مکانیزم کلیدیش انتقال کانتکست بهشکل متغیر نمادین و صدا زدن سابایجنتها مثل تابع داخل یه REPL کده.
نتیجهٔ آزمایشهای طول جالبه: با آموزش فقط روی تسکهای کوتاه، مدل به تسکهای نگهداشتهشدهٔ ۸ تا ۳۲ برابر بلندتر تعمیم پیدا میکنه، و بهازای همون مقدار رشد پاداش آموزش، حدود ۱۰ برابر بیشتر از آموزش مستقیم ترنسفورمر روی ارزیابی جواب میده. آزمایشها روی شش محیط انجام شده — از جمله MRCRv2، GraphWalks، LongBenchPro و OOLONG — همه با مدل Qwen3-30B-A3B و ۱۵۰ استپ آموزش. تو چند محیط، RLM آموزشدیده به سطح یه RLM با مدل فرانتیر نزدیک میشه یا از اون رد میشه.
نکتهٔ ظریفی که نویسنده صادقانه بهش اشاره میکنه اینه: پاداش آموزشِ ترنسفورمر پایه معمولاً از RLM بیشتره، ولی ارزیابیاش صاف میمونه — یعنی چیزی که ترنسفورمر یاد میگیره به تنظیم بلندتر تعمیم پیدا نمیکنه. تعمیم طول هم تضمینشده نیست: تو تسکهای کوتاه یه استراتژی ممکن اینه که مدل کل مسئله رو به یه سابکال بسپاره و عملاً به همون بیسلاین کانتکستبلند تبدیل بشه؛ برای همین یه پیام «تشویق به تجزیه» تو بعضی محیطها کمک کرده.
آزمایش دوم از این هم قویتره: انتقال بین دامنههای کاملاً متفاوت که فقط ساختار نهفتهٔ مشترک دارن — مثل آموزش روی جستجوی مقالههای همنویسنده و ارزیابی روی جستجوی مسئلههای ریاضی با فرایند استدلال مشابه. RLM اونجا هم تعمیم روشن نشون میده و ترنسفورمر پایه بهسختی بهبود میگیره. هزینهش هم صادقانه گفته شده: زمان اجرای آموزش RLM یکونیم تا سه برابر بیشتره، هرچند این هزینه با پیچیدهتر شدن تسک بهتر اسکیل میشه.
جمعبندی نویسنده احتیاط هم داره: پیام مقاله این نیست که همه بریم سراغ دستکاری هارنس یا تحمیل ساختارهای دستی مثل MapReduce، چون اونطوری زمینگیر درس تلخ میشیم. حرف اصلی اینه که اسکیل کردن داده هنوز موتور اصلی پیشرفته، ولی ماشینی که داده رو بهش میدیم و بایاسهای استقراییاش، ضریب اون اسکیل رو تعیین میکنه.
نکات کلیدی:
- تعمیم ترکیبی گلوگاه اصلیه و ترنسفورمرها تو اون بیاعتمادن
- معیار هارنس خوب: هر فراخوانی مدل «محلاً درونتوزیع» باشه
- Claude Code و Codex با انباشتن تاریخچه از توزیع میزنن بیرون (context rot)
- RLM با بارگذاری کانتکست به بیرون و سابکال برنامهای، تسکهای مشابه رو یکریخت میکنه
- آموزش روی تسک کوتاه به تسک ۸ تا ۳۲ برابر بلندتر تعمیم پیدا کرد، با ~۱۰ برابر بازدهی بیشتر
- انتقال بین دامنههای کاملاً متفاوت با ساختار مشترک هم جواب داد
- هزینه: آموزش RLM ۱.۵ تا ۳ برابر کندتره ولی با پیچیدگی تسک بهتر اسکیل میشه
