سه شکل حافظهٔ ایجنت: فایل، استور ساختاریافته و تجربه
هوش مصنوعیClaude Opus 5خلاصهٔ کاملتر
یه ایجنت که فقط داخل یک گفتوگو یادش میمونه، هر روز مثل غریبهای با آداب عالی سلام میکنه. نویسندهٔ این مقاله سه شکل رایج حافظهٔ بلندمدت رو تعریف و بعد اندازهگیری کرده: حافظهٔ فایلمحور، یعنی یه ایندکس کوتاه مارکداون بهعلاوهٔ فایلهای موضوعی که خود مدل مینویسه و بعداً با جستوجوی متنی پیداشون میکنه؛ استور ساختاریافته، که هر نوبت گفتوگو رو به فکتهای اتمی خرد و امبد میکنه؛ و تجربه، که خودِ استفاده از حافظه توی وزنهای مدل آموزش داده میشه.
تفاوت اصلی سر اینه که هزینه کِی و کجا پرداخت میشه. روش فایلمحور موقع نوشتن از خود مدل قضاوت میخواد و فقط چیزی رو نگه میداره که مدل انتخاب کرده؛ استور ساختاریافته همهچیزو ذخیره و بعد رتبهبندی میکنه. داخل خانوادهٔ ساختاریافته هم دو دودمان هست: مکانمحور مثل MemPalace که متن رو دستنخورده بایگانی میکنه، و «موجودیت و زمان» مثل Graphiti (محصول Zep) که گراف دانش با بازهٔ اعتبار میسازه تا یه فکت تازه، فکت قدیمی رو ببنده نه اینکه پاکش کنه.
تو آزمایش اصلی هر دو بازو با یک حلقهٔ ایجنت، یک مدل متنباز محلی (Qwen3.6-35B-A3B-mxfp4) و یک داور مشترک اجرا شدن، تا فقط لایهٔ حافظه بتونه عدد رو جابهجا کنه. روی سؤالهای held-out — یعنی سؤالهایی که موقع تنظیم سیستم دیده نشده بودن — از بنچمارک LongMemEval، استور ساختاریافته ۷۳٫۶ درصد و فایلمحور ۴۴٫۹ درصد گرفت؛ اختلاف جفتی ۲۸٫۷ امتیاز با فاصلهٔ اطمینان ۹۵ درصدی بین ۲۲٫۱ تا ۳۵٫۴. بیشترین شکاف تو استدلال زمانی (۸۰ در برابر ۴۱) و سؤالهای چندنشستی (۶۱ در برابر ۳۳) بود.
فقط یک دسته رو فایلمحور برد: abstention، یعنی تشخیص اینکه جواب اصلاً هیچوقت گفته نشده (۸۸٫۹ در برابر ۷۷٫۸). نویسنده دلیلشو ساده میگه: حافظهای که کمتر یادش میمونه، کمتر هم بیخودی جواب میده — بازیابی رتبهبندیشده تقریباً همیشه یه چیز بهظاهر مرتبط جلوی مدل میذاره و وسوسهاش میکنه. از نظر هزینه هم به گفتهٔ نویسنده روش فایلمحور دو بار بازندهست: توکن بیشتری خرج میکنه و جواب بدتری میده.
نویسنده علیه طرح خودش هم گزارش میده: روی بنچمارک LoCoMo، هیبرید خودش از نظر آماری با یه ایندکس برداری ساده تفاوت معناداری نداشت، و لایهٔ «گراف تداعی» که قرار بود ضعف تجمیع رو جبران کنه، تو آزمون کنترلشده هیچ بهبود اندازهگیریشدهای نداشت. جمعبندیش هم اینه که هیچ بنچمارکی بهتنهایی سیستمهای حافظه رو رتبهبندی نمیکنه، و عوضکردن مدلی که حافظه رو میخونه و داوری میکنه بیشتر از عوضکردن خود استور روی عدد اثر میذاره.
شکل سوم، MemHarness، فرض «مدل یخزده» رو کنار میذاره: بانک تجربه ساده میمونه، ولی یه سیاست پنجمرحلهای — مشاهده، بازیابی، نقد، بازسازی و اقدام — بهصورت سرتاسری با یادگیری تقویتی (GRPO) آموزش داده میشه. تو ablation خودشون، دادن اپیزودهای خام بهجای بازسازی نتیجه رو از ۷۶٫۴ به ۷۰٫۱ پایین آورد؛ یعنی بازیابی تجربه رو جلوی چشم مدل میذاره، ولی تضمین نمیکنه درست ازش استفاده بشه.
نکات کلیدی:
- روی سؤالهای held-out، استور ساختاریافته ۷۳٫۶٪ و فایلمحور ۴۴٫۹٪ گرفت؛ خط پایهٔ بدون حافظه ۹٫۸٪ بود.
- اختلاف جفتی ۲۸٫۷ امتیاز با فاصلهٔ اطمینان ۹۵٪ برابر ۲۲٫۱ تا ۳۵٫۴ بود.
- تنها بردِ روش فایلمحور، دستهٔ abstention با ۸۸٫۹٪ در برابر ۷۷٫۸٪ بود.
- هر دو بازو روی مدل محلی Qwen3.6-35B-A3B-mxfp4 با داور و حلقهٔ ایجنت یکسان اجرا شدن.
- تو ablation مربوط به MemHarness، اپیزود خام بهجای بازسازی نمره رو از ۷۶٫۴ به ۷۰٫۱ رسوند.
