‏حافظه در ایجنت‌های هوش مصنوعی: از کانتکست ویندو تا جستجوی معنایی

یه مدل زبانی به‌تنهایی کاملاً stateless هست؛ یعنی هر بار که بهش یه پرامپت می‌دی، یه جواب می‌گیری و تمام — مدل دیگه تو رو نمی‌شناسه. اما ایجنت یه لایه orchestration دور مدل داره که تصمیم می‌گیره هر بار چی توی پرامپت بذاره. به‌عبارت ساده‌تر، «حافظه» در ایجنت‌ها یعنی: این دفعه چی رو توی پرامپت بریزیم؟

ساده‌ترین روش اینه که کل مکالمه رو هر بار دوباره توی پرامپت بذاری. تا وقتی همه‌چیز جا بشه، مدل حافظه کاملی داره. مشکل اینجاست که هر مدل یه context window محدود داره. وقتی مکالمه بزرگ‌تر از این سقف بشه، باید چیزی حذف بشه. ساده‌ترین سیاست FIFO هست — قدیمی‌ترین ترن اول حذف می‌شه — که اگه اون ترن حاوی اطلاعات مهم مثل اسم کاربر بوده باشه، می‌تونه خیلی بد تموم بشه.