ایجنت هوش مصنوعی وقتی قانونت رو نادیده می‌گیره، بهت نمی‌گه
هوش مصنوعیخلاصهٔ کامل‌تر
نویسنده یه داشبورد شخصی ساخته که با Claude کار می‌کنه و قانون‌هاش تو چند فایل markdown نوشته شده. اون متوجه شده که تو سشن‌های طولانی، مخصوصاً وقتی پشت سر هم درباره‌ی چیزهای مختلف سؤال می‌پرسه، ایجنت بخشی از درخواست رو جا می‌ندازه، با یه قانون صریح مخالفت می‌کنه یا به سؤال چند پیام قبل جواب می‌ده. مشکل اصلی اینه که هیچ هشداری نمی‌ده و جواب کامل به نظر می‌رسه.
به گفته‌ی نویسنده این فقط حس اون نیست. تحقیق Microsoft و Salesforce نشون داد وقتی یه درخواست تو چند پیام پخش میشه، کیفیت جواب‌ها به‌طور میانگین ۳۹ درصد افت می‌کنه. دلیلش اینه که مدل زود حدس می‌زنه کاربر چی می‌خواد و بعد روی همون حدس اشتباه ادامه می‌ده. یه تحقیق مارس ۲۰۲۶ روی سؤال‌های پزشکی هم نشون داد GPT-5 فقط تو ۴۱ درصد موارد جواب کاملاً درست داده و تو نوبت سوم، جواب‌های غلط همه‌ی مدل‌ها تقریباً سه برابر شده.
یه بنچمارک دیگه که تابستون امسال منتشر شد بیشتر از بیست مدل قوی رو روی گفت‌وگوهای طولانی چینی تست کرد. حتی بهترینشون، GPT-5.5، فقط تو ۴۱ درصد موارد همه‌ی خواسته‌ها رو کامل انجام داد. یعنی تقریباً شش بار از هر ده بار، جواب کامل به نظر می‌رسه ولی یه چیزی توش غلطه یا جا افتاده.
نویسنده این مشکل رو به سه بخش تقسیم می‌کنه: طول گفت‌وگو که هرچی بیشتر بشه دقت پایین‌تر میاد، نویز یعنی قاطی کردن چند موضوع بی‌ربط تو یه گفت‌وگو، و پافشاری یعنی مدل وقتی یه برداشت از خواسته‌ت پیدا کرد، به‌جای اینکه دوباره فکر کنه از همون دفاع می‌کنه. همین سومی توضیح می‌ده چرا ایجنت با یه قانون صریح مخالفت می‌کنه.
چرا شروع دوباره جواب می‌ده؟ یه تحقیق ۲۰۲۳ نشون داده مدل‌ها اطلاعات اول و آخر ورودی رو بهتر استفاده می‌کنن و اطلاعات وسط رو ضعیف‌تر. Anthropic هم همون سال دیده بود دستورهای آخر پرامپت بهتر یادشون می‌مونه. قانونی که پنجاه پیام پیش نوشتی، دقیقاً افتاده وسط. گفت‌وگوی تازه دستورها رو برمی‌گردونه به اول، جایی که خوب خونده می‌شن.
توصیه‌های نویسنده عملیه: قانون‌ها رو بیرون از چت بنویس تا ریست کردن چیزی ازت نگیره، هر گفت‌وگو رو روی یه موضوع نگه دار، قانون مهم رو تو همون پیامی که الان می‌فرستی تکرار کن و وقتی حدود نصف حافظه‌ی گفت‌وگو پر شد، از نو شروع کن. به گفته‌ی اون، بعد از یه اشتباه، احتمال اشتباه بعدی ۱.۹ تا ۶.۱ برابر بیشتر میشه، پس اصلاح وسط کار مثل جنگیدن با شانس بده.
نکات کلیدی:
- تحقیق Microsoft و Salesforce: افت میانگین ۳۹ درصدی کیفیت وقتی درخواست تو چند پیام پخش میشه.
- GPT-5.5 تو یه بنچمارک گفت‌وگوی طولانی فقط ۴۱ درصد مواقع همه‌ی خواسته‌ها رو کامل انجام داد.
- مدل‌ها اطلاعات وسط ورودی رو ضعیف‌تر از اول و آخرش استفاده می‌کنن.
- بعد از یه جواب غلط، احتمال جواب غلط بعدی ۱.۹ تا ۶.۱ برابر بیشتر میشه.
- پیشنهاد نویسنده: وقتی حدود نصف حافظه‌ی گفت‌وگو پر شد، از نو شروع کن.
