چرا ایجنت هوش مصنوعیتون با وجود بیس دانش هم توهم میزنه؟
هوش مصنوعیClaude Sonnet 5خلاصهٔ کاملتر
نویسنده چهار الگوی خطا رو اینطور توضیح میده: «مسمومشدن» وقتی اتفاق میافته که یه واقعیت غلط کنار واقعیتهای درست تو داده نشسته و مدل با اطمینان کامل همون غلط رو تحویل میده؛ راهحلش یه مرحلهی وریفای مثل جستوجوی وب یا تأیید انسانیه. «انباشتگی» وقتی پیش میاد که با رشد سیستم، داده بدون هرسکردن اضافه میشه و مدل رو تو انبوهی از اطلاعات بیربط گم میکنه؛ این مشکل سختتره چون هیچ فکت غلط مشخصی برای اصلاح وجود نداره.
«سردرگمی» شبیه دو مورد قبلیه اما دلیلش فرق میکنه: یه واقعیت مهم غایبه یا یه فکت بیربط حضور داره و مدل برای پرکردن اون خلأ، خودش دست به حدس میزنه؛ این همون الگوی کلاسیک توهمه. «برخورد» هم وقتی رخ میده که دو منبع داده با هم تناقض دارن و مدل هیچ راهی برای فهمیدن اینکه کدوم معتبره نداره، مثلاً یه سیاست بازگشت وجه قدیمی و یه نسخهی جدیدتر که هر دو بدون برچسب زمانی تو بیس دانش موندن.
راهحل اصلی نویسنده برای انباشتگی و سردرگمی، تفکیک داده به «کانتکست تخصصی» و «کانتکست موقعیتیه». کانتکست تخصصی یعنی قوانین کسبوکار، هویت و اهداف ایجنت که باید تو هر اجرا حاضر باشه، شبیه یه پرامپت سیستمی گسترده. کانتکست موقعیتی یعنی دادهای مثل یه تیکت پشتیبانی خاص یا یه ترنسکریپت جلسه که فقط باید در لحظهی نیاز بارگذاری بشه، نه دائمی.
نویسنده یه فرآیند ممیزی هم پیشنهاد میده: چککردن اینکه فایلهای مسیریابی (مثل CLAUDE.md) واقعاً به چیزی که رو دیسک هست اشاره میکنن، تطبیق اعداد ایندکس با واقعیت، بررسی تازگی هر فید داده، و جداکردن دادهی موقعیتی که ممکنه بهاشتباه تو کانتکست همیشگی جا خوش کرده باشه. خروجی این ممیزی باید یه گزارش برای تأیید انسانی باشه، نه اصلاح خودکار، تا ایجنت خودش بیسروصدا بیس دانشش رو بازنویسی نکنه.
نکات کلیدی:
- چهار الگوی توهم ایجنتها: مسمومشدن، انباشتگی، سردرگمی و برخورد داده
- مسمومشدن با یه مرحلهی وریفای ساده رفع میشه؛ انباشتگی و سردرگمی سختترن
- راهحل اصلی، جداکردن کانتکست تخصصی (همیشگی) از کانتکست موقعیتی (لحظهای)ه
- ممیزی دورهای باید یه گزارش پیشنهادی بده، نه اصلاح خودکار بدون نظارت انسانی
