‏مدل‌های زبانی واقعاً به context طولانی نیاز دارن؟

یه مقالهٔ تازه روی arXiv با عنوان «You don't need long context» از یه تیم ۱۲ نفره (با نویسندهٔ اول Peter Belcak) منتشر شده که یه ادعای جسورانه داره: مدل‌های زبانی برای کارهای طولانی لزوماً به context خیلی بلند (یعنی مقدار متنی که مدل همزمان جلوی چشمشه) نیاز ندارن.

نقطهٔ شروع بحث هزینه‌ست. نویسنده‌ها می‌گن توکن‌هایی که دیرتر تو یه گفتگو یا کار تولید می‌شن، گرون‌تر از توکن‌های اول هستن، چون مدل باید کل متن قبلی رو هم در نظر بگیره. به گفتهٔ مقاله، این اختلاف هزینه تو مدل‌های frontier با وزن باز می‌تونه تا ۷ برابر برسه.

راه‌حلی که بررسی کردن compaction هست، یعنی context رو مرتب خلاصه و فشرده کنی تا کوتاه بمونه. طبق نتایج مقاله، روی طیف گسترده‌ای از کارهای long-horizon (کارهایی که چند مرحلهٔ طولانی دارن) و کارهایی با ورودی بلند، مدل‌ها با context کوتاه تقریباً هیچ دقتی از دست نمی‌دن.

یه آزمایش افراطی‌تر هم انجام دادن: تو کارهای طولانی مهندسی نرم‌افزار، مدل حداکثر یه action تو هر context انجام می‌داد و باز هم عملکردش فرو نریخت. بر همین اساس، مفهومی به اسم semantic state space models یا SSSM رو مطرح کردن، یعنی مدلی که به‌جای نگه داشتن کل تاریخچه، یه وضعیت معنایی فشرده رو با خودش جلو می‌بره. نتیجه‌گیری نویسنده‌ها اینه که نیاز به مدل‌های long-context باید دوباره بررسی بشه. یعنی برای خیلی از agentها شاید مدیریت هوشمند context از بزرگ‌تر کردن پنجرهٔ مدل به‌صرفه‌تر باشه.

نکات کلیدی:

• هزینهٔ تولید توکن‌های آخر تو مدل‌های open weight می‌تونه تا ۷ برابر توکن‌های اول باشه
• با compaction مرتب، دقت مدل‌ها روی کارهای long-horizon و long-input تقریباً ثابت می‌مونه
• تو کارهای مهندسی نرم‌افزار، حتی با یه action در هر context عملکرد فرو نمی‌ریزه
• مقاله مفهوم semantic state space models (SSSM) رو پیشنهاد می‌ده
• شناسهٔ مقاله arXiv:2611.05306 هست و ۳ نوامبر ۲۰۲۶ ثبت شده