مدیریت context در اپلیکیشنهای عاملی طولانیمدت
هوش مصنوعیخلاصهٔ کاملتر
اپلیکیشنهای عاملی (Agentic) سیستمهایی هستن که یک مدل زبانی بزرگ (LLM) در اونها بهصورت خودمختار تصمیم میگیره، ابزارها رو فراخوانی میکنه و وظایف چندمرحلهای رو اجرا میکنه. هرچقدر این وظایف طولانیتر بشن، حجم اطلاعاتی که باید در پنجره context نگه داشته بشه هم بیشتر میشه.
مشکل اصلی اینه که مدلهای زبانی یه محدودیت سخت روی تعداد توکنهایی که میتونن همزمان پردازش کنن دارن. وقتی این سقف پر بشه، یا باید بخشی از اطلاعات حذف بشه، یا عملکرد مدل به شکل قابل توجهی کاهش پیدا میکنه — چون مدل دیگه به اطلاعات قبلی دسترسی نداره.
تیم مهندسی Slack در این مقاله به راهکارهای عملی برای مقابله با این چالش میپردازه. رویکردهایی مثل خلاصهسازی تدریجی (progressive summarization) — که در اون بخشهای قدیمیتر مکالمه به یه خلاصه فشرده تبدیل میشن — یا مدیریت حافظه خارجی که اطلاعات مهم رو بیرون از پنجره context ذخیره میکنه و موقع نیاز بازیابی میکنه، از جمله این راهکارهاست.
انتخاب اینکه کدوم اطلاعات رو نگه داری و کدوم رو حذف کنی، خودش یه چالش طراحی جدیه. عامل باید بدونه چه چیزی برای ادامه وظیفه حیاتیه و چه چیزی میتونه فراموش بشه. این تصمیم اگه اشتباه باشه، میتونه منجر به خطاهای جدی در رفتار عامل بشه.
نکات کلیدی:
- اپلیکیشنهای عاملی طولانیمدت با محدودیت پنجره context مدلهای زبانی دستوپنجه نرم میکنن
- خلاصهسازی تدریجی یکی از راهکارهای کاهش حجم context بدون از دست دادن اطلاعات کلیدیه
- حافظه خارجی میتونه اطلاعات مهم رو خارج از پنجره context نگه داره و موقع نیاز بازیابی کنه
- انتخاب اطلاعاتی که باید حذف یا نگه داشته بشن، یه چالش طراحی مهم در ساخت عاملهای هوشمنده
