‏test-time training محور جدید مقیاس‌پذیری نیست

تو این پست اومده که جذاب‌ترین عبارت تو دنیای مدل‌ها «محور جدید مقیاس‌پذیری»ـه. تا الان چند بار این اتفاق افتاده: اول مقیاس کردن داده و پارامتر، بعد جدا کردن پارامترها از FLOPs با MoE، و از o1 به بعد هم مقیاس کردن محاسبات در زمان تست با reasoning. هر بار هم یه جهش بزرگ تو کارایی مدل‌ها آورده، برای همین وقتی اسم test-time training میاد همه گوش تیز می‌کنن.

جذابیت دوم این ایده به یادگیری مداوم برمی‌گرده. نویسنده می‌گه مدل‌های امروزی خیلی باهوشن ولی مجبوری تو پرامپت بنویسی «مهمه، نادیده نگیر» تا یه اشتباه تکراری رو دوباره نکنن. اگه مدل واقعاً یاد می‌گرفت، این کارها لازم نبود. پس هر چیزی که بوی یادگیری حین استفاده بده، سریع توجه جلب می‌کنه.

بهانهٔ نوشتن پست، مقالهٔ تازه‌ای با عنوان Test-Time Training with KV Binding Is Secretly Linear Attention ـه. اون مقاله می‌گه تفسیر رایج از TTT، یعنی اینکه مدل داره یه نگاشت کلید-مقدار رو در زمان تست حفظ می‌کنه، با چند مشاهده جور درنمیاد و در عوض می‌شه یه دستهٔ گستردهٔ معماری‌های TTT رو به شکل یه عملگر linear attention یادگرفته‌شده نوشت. به گفتهٔ نویسنده مقاله ارزش خوندن داره، ولی چیزی که براش جالب‌تر بوده خودِ آشفتگی معنای «test-time training» ـه.

ریشهٔ اصطلاح به مقالهٔ Test time training under distribution shift برمی‌گرده که همون کار قابل انتظار رو می‌کرد: آپدیت وزن‌های مدل برای کنار اومدن با تغییر توزیع داده در زمان تست. اونجا حرف از وزن‌های کند بود، یعنی همون وزن‌هایی که optimizer هر مینی‌بچ عوضشون می‌کنه و تو چک‌پوینت ذخیره می‌شن؛ همون چیزی که معمولاً وقتی می‌گیم «وزن‌های مدل» منظورمونه.

در مقابل وزن‌های سریع قرار دارن، یعنی چیزهایی که همون موقع forward pass ساخته می‌شن، مثل ماتریس حالت تو یه لایهٔ linear attention. آموزش عادی مستقیم سراغ اینها نمی‌ره، بلکه قاعده‌ای رو یاد می‌گیره که اینها رو می‌سازه. کاری که TTT با لایهٔ KV binding می‌کنه دقیقاً آموزش همین وزن‌های سریعه: یه ماتریس اضافه می‌کنه که با طول دنباله بزرگ نمی‌شه و برای هر عنصر دنباله یه قدم گرادیان روش می‌زنه. برای همین شباهتش به linear attention و RNN تصادفی نیست.

جواب سؤال آخر هم روشنه. نویسنده می‌گه وزن‌های سریع با شروع هر دنبالهٔ جدید ریست می‌شن، پس چیزی از یه گفت‌وگو به گفت‌وگوی بعدی منتقل نمی‌شه. یعنی این نسخه از test-time training مسئلهٔ یادگیری مداوم رو حل نمی‌کنه، هر چقدر هم اسمش امیدوارکننده باشه.

نکات کلیدی:

• اصطلاح TTT دو معنی متفاوت داره: آپدیت وزن‌های کند (مقالهٔ ۲۰۱۹) و آموزش وزن‌های سریع (کارهای جدید).
• مقالهٔ Test-Time Training with KV Binding Is Secretly Linear Attention می‌گه تفسیر حافظه‌محور از TTT درست نیست.
• لایهٔ KV binding یه ماتریس با اندازهٔ ثابت اضافه می‌کنه که با طول دنباله رشد نمی‌کنه.
• برای هر عنصر دنباله یه قدم گرادیان روی همون ماتریس زده می‌شه، شبیه linear attention و RNN.
• وزن‌های سریع در شروع هر دنباله ریست می‌شن، پس یادگیری مداوم با این روش حل نشده.