‏مدلی که با هر پرامپت یاد می‌گیره

نویسنده‌ی این پست، Tom Tunguz، test-time training (یعنی روشی که وزن‌های مدل حین جواب‌دادن به پرامپت تغییر می‌کنن) رو با یه مثال ساده توضیح می‌ده: مدل به جای این که روز آخر آموزشش «یخ بزنه» و برای همیشه ثابت بمونه، حین جواب‌دادن به پرامپت شما یه گام گرادیان روی همون پرامپت برمی‌داره و وزن‌هاش عوض می‌شن. یعنی مدل واقعاً در حال کار داره یاد می‌گیره، شبیه یه GPS که به‌جای مسیریابی مقطعی، میان‌بر ترافیک صبح روی بزرگراه رو به‌طور دائم توی نقشه‌ش ثبت می‌کنه.

اولین پیامد فنی، افت شدید نیاز به حافظه‌ست. یه ترنسفورمر استاندارد یه KV-cache نگه می‌داره (یعنی یه ثبت در حال رشد از هر توکنی که تا حالا دیده)، پس مصرف حافظه با طول کانتکست خطی بالا می‌ره. test-time training همون تاریخچه رو توی یه مجموعه وزن با اندازه‌ی ثابت جمع می‌کنه، پس مصرف حافظه هر چقدر هم مکالمه طولانی بشه ثابت می‌مونه.

پیامد دوم، دردسر ارائه‌دهنده‌ست. وقتی مدل روی پرامپت شما آپدیت می‌شه، دیگه همون مدلی نیست که به همسایه‌تون جواب داد؛ پس یه چک‌پوینت واحد که به میلیون‌ها کاربر سرویس می‌داد، تبدیل می‌شه به میلیون‌ها مدل کمی متفاوت. نویسنده می‌گه این واگرایی رو GPU provider باید حل کنه: به جای یه نسخه‌ی مشترک، برای هر کاربر باید یه نسخه‌ی جدا در حال اجرا باشه، یعنی چیپ و محاسبه‌ی بیشتر برای همون تعداد کاربر.

پیامد سوم، سرعت بالاتره. به گفتهٔ نویسنده، پژوهش استنفورد روی مدل‌های کوچک نشون می‌ده این روش تا 2.7 برابر سریع‌تره، چون latency در inference یه مدل test-time trained با طول کانتکست ثابت می‌مونه (برخلاف ترنسفورمر استاندارد که با طول کانتکست بالا می‌ره). یه نمونه به اسم In-Place TTT هم بدون بازآموزی، عملکرد یه مدل 4b رو در کانتکست 128k به سطح رقابتی می‌رسونه.

نویسنده کل ماجرا رو یه تنش می‌بینه: AI استاندارد محدود به حافظه‌ست، AI test-time محدود به محاسبه و چیپ؛ پس ارائه‌دهنده باید انتخاب کنه که برای کانتکست طولانی سرویس بده یا برای تعداد بالای کاربر. این هزینه اونجایی می‌ارزه که شخصی‌سازی خرجش رو دربیاره؛ مثلاً یه ایجنت کدنویسی که کنوانسیون‌های کدبیس و باگ‌های تکراریت رو یاد می‌گیره و از راه lock-in به مرور هزینه‌ش رو جبران می‌کنه. ولی برای یه سؤال یک‌باره‌ی پشتیبانی، همون مدل مشترک و frozen جواب می‌ده و برای ارائه‌دهنده خیلی ارزون‌تر تموم می‌شه.

نکات کلیدی:

• test-time training یه گام گرادیان روی خود پرامپت می‌زنه و وزن‌های مدل رو حین کار عوض می‌کنه
• KV-cache حذف می‌شه و مصرف حافظه بدون توجه به طول کانتکست ثابت می‌مونه
• ارائه‌دهنده باید برای هر کاربر یه نسخه‌ی جدا از مدل رو در حال اجرا نگه داره
• روی مدل‌های کوچک، پژوهش استنفورد تا 2.7 برابر سرعت inference رو گزارش می‌ده
• In-Place TTT بدون بازآموزی مدل 4b رو در کانتکست 128k به سطح رقابتی می‌رسونه
• انتخاب بین test-time و استاندارد یه ترید-آف بین کانتکست طولانی و تعداد بالای کاربره
• برای ایجنت‌های شخصی‌سازی‌شده مثل کدنویسی می‌ارزه، برای سؤالات یک‌باره نه