محصول هوش مصنوعی‌ت حافظه نداره و کاربر می‌ره
هوش مصنوعیخلاصهٔ کامل‌تر
نویسنده با یه صحنهٔ آشنا شروع می‌کنه: کاربر اپ رو باز می‌کنه و دوباره توضیح می‌ده کی هست، چه ترجیحاتی داره و دنبال چیه — هر جلسه، از صفر. این آدم‌ها باگ گزارش نمی‌دن، فقط دیگه برنمی‌گردن. به گفتهٔ نویسنده، بی‌حافظگی دیگه محدودیت فنی نیست؛ یه تصمیم محصولیه که بیشتر تیم‌ها به‌شکل پیش‌فرض گرفتنش، با این فرض غلط که کاربر «می‌دونه هوش مصنوعی این‌جوریه». کاربر نمی‌دونه؛ محصول تو رو با اسپاتیفای و جی‌میل مقایسه می‌کنه.
مثال واقعی‌ش یه ابزار تحقیق حقوقیه که با وجود آمار خوب روز اول، ریتنشن روز هفتمش ۳۴٪ بوده. ضبط جلسه‌ها نشون داده کاربرها دو سه دقیقهٔ اول هر جلسه رو صرف بازسازی زمینهٔ پرونده، حوزهٔ قضایی و لحن دلخواهشون می‌کردن. یعنی مشکل کیفیت پاسخ نبود، خستگی بود. هر بار بازتعریف زمینه، یه لحظه‌ست که کاربر از خودش می‌پرسه ارزشش رو داره یا نه.
راه‌حل رایج — چسبوندن N پیام آخر به پرامپت سیستم — به نظر نویسنده اسمش حافظه نیست، سوءاستفاده از پنجرهٔ زمینه‌ست. برای تاریخچهٔ کوتاه جواب می‌ده، ولی هفتهٔ سوم تاریخچهٔ کاربر تبدیل به ۴۰ هزار توکن نویز میشه. نمونه‌ش یه دستیار نویسندگی B2B بوده که هفتهٔ چهارم بیش از ۶۰ هزار توکن تاریخچه به هر درخواست تزریق می‌کرد: تأخیر دو برابر، هزینهٔ هر کاربر سه برابر، و دقت پاسخ‌های شخصی‌سازی‌شده حتی پایین‌تر، چون سیگنال زیر مکالمات قدیمی دفن شده بود.
حرف اصلی مقاله اینه که حافظه یه سطح مهندسی مستقله، نه یه مسئلهٔ ذخیره‌سازی. چیزی که اهمیت داره استخراجه: ترجیحات کاربر، هدف‌های اعلام‌شده، تصمیم‌های قبلی و زمینهٔ تخصصی — و بعد بازیابی دقیق همون‌ها سر بزنگاه. یه دستیار بودجه‌بندی فین‌تک لایهٔ حافظه‌ش رو دور همین ایده بازسازی کرد: بعد از هر جلسه یه پاس سبک با مدل کوچیک، ویژگی‌های ساختاریافته مثل بازهٔ درآمد، هدف پس‌انداز و تحمل ریسک رو در می‌آورد و تو یه پروفایل حدوداً ۸۰۰ توکنی می‌ذاشت. نتیجه: شخصی‌سازی بهتر و ۶۰٪ کاهش هزینهٔ هر جلسه.
چارچوب عملی نویسنده چهار قدمه. اول نرخ بازتعریف رو اندازه بگیر — یعنی چند بار کاربر چیزی رو تکرار می‌کنه که قبلاً گفته؛ این عدد همون مالیات حافظهٔ توئه و بیشتر تیم‌ها هیچ‌وقت اندازه‌ش نگرفتن. دوم شمای حافظه رو صریح بنویس: محصول تو واقعاً باید چی رو یادش بمونه. سوم یه مرحلهٔ استخراج بساز؛ برای در آوردن «کاربر لحن رسمی رو ترجیح می‌ده» به مدل گرون نیازی نیست. چهارم حافظه رو انتخابی تزریق کن و زیر هزار توکن نگهش دار.
جمع‌بندی نویسنده تنده: کاربر نمی‌خواد هوش مصنوعی تو باهوش‌تر باشه، می‌خواد حس نکنه نامرئیه. حافظه همون چیزیه که یه ابزار یک‌بارمصرف رو از محصولی که بهش وابسته می‌شن جدا می‌کنه، و به نظر او این قابلیت نسخهٔ دو نیست. جملهٔ آخرش هم اینه: مدل مشکلی نداره، معماری مشکل داره.
نکات کلیدی:
- بی‌حافظگی یه تصمیم محصولیه، نه محدودیت فنی
- چسبوندن تاریخچهٔ خام چت یعنی تأخیر و هزینهٔ بیشتر و دقت کمتر
- حافظهٔ واقعی سه بخش داره: استخراج، شمای مشخص، و بازیابی انتخابی
- یه پروفایل ۸۰۰ توکنی تو یه نمونهٔ واقعی هزینهٔ هر جلسه رو ۶۰٪ کم کرد
- اول از همه نرخ بازتعریف زمینه توسط کاربر رو اندازه بگیر
