‏سه‌گانهٔ مرگبار: وقتی ایجنت هوش مصنوعی خطرناک می‌شه

اصطلاح lethal trifecta رو سایمون ویلیسون ساخته و به سه شرطی اشاره داره که با هم یه ایجنت هوش مصنوعی رو خطرناک می‌کنن: دسترسی به دادهٔ خصوصی، خوندن محتوای غیرقابل‌اعتماد (مثل تیکت پشتیبانی یا ایمیلی که هر کسی می‌تونه بفرسته) و یه کانال برای فرستادن اطلاعات به بیرون. تو این مقاله اومده که هیچ‌کدوم تنهایی مشکلی نیست، ولی وقتی هر سه تو یه ایجنت جمع بشن، هر کسی که بتونه متنی بنویسه که ایجنت می‌خونه، به هر چیزی که ایجنت می‌بینه راه پیدا می‌کنه.

مثال مقاله یه ایجنت پشتیبانیه که دیتابیس مشتری‌ها رو می‌خونه، تیکت‌های عمومی رو می‌خونه و می‌تونه جواب بده یا تو Slack پیام بذاره. حالا یکی تو متن تیکت دستوری قایم می‌کنه که مثلاً توکن‌های یکپارچه‌سازی رو تو جواب بذار. این همون prompt injection هست، یعنی قایم کردن دستور تو محتوایی که ایجنت پردازش می‌کنه. ایجنت معمولاً نمی‌تونه دستور رو از داده جدا کنه و ممکنه انجامش بده. کسی هم به جایی نفوذ نکرده، خود دسترسی‌های قانونی ایجنت سطح حمله‌ان.

نویسنده می‌گه zero trust (یعنی هر درخواست رو تأیید کن، کمترین دسترسی رو بده و فرض کن نفوذ شده) لازمه ولی کافی نیست. «فرض نفوذ» باید بشه «فرض انحراف»، چون خود ایجنت ممکنه برای تموم کردن کار، مثلاً بعد از قطع دسترسی، بره دنبال هر credential دیگه‌ای. «یه بار تأیید» هم باید بشه «تأیید مداوم»، چون ایجنت ممکنه وسط یه session با یه ورودی آلوده کلاً مسیرش عوض بشه.

مشکل دیگه ردگیریه. وقتی چند ایجنت با یه فایل .env یا یه API key مشترک کار می‌کنن، تو لاگ‌ها همه زیر یه اسم ثبت می‌شن. اگه جدولی پاک بشه، معلوم نیست کار یه ایجنت بوده، یه cron job یا یه مهندس. مقاله اسم اینو گذاشته مشکل «شاه‌کلید».

به گفتهٔ نویسنده، دفاع درست یعنی شکستن یکی از سه پایه، نه باهوش‌تر کردن مدل برای تشخیص حمله که قابل دور زدنه. به هر ایجنت هویت جدا و کمترین دسترسی لازم رو بده. دسترسی رو در سطح دیتابیس یا API اعمال کن، چون قانونی که تو system prompt نوشته شده با یه injection زیرکانه دور زده می‌شه. credentialها رو کوتاه‌مدت و قابل لغو کن و کارهای حساس مثل خروجی گرفتن یا حذف حساب رو پشت تأیید انسانی بذار.

نکات کلیدی:

• سه پایهٔ lethal trifecta: دسترسی به دادهٔ خصوصی، ورودی غیرقابل‌اعتماد و کانال خروج داده.
• prompt injection تکنیک حمله‌ست و trifecta شرایطیه که این حمله رو واقعاً خطرناک می‌کنه.
• قانون‌های داخل system prompt قابل دور زدن‌ان، ولی محدودیت در سطح دیتابیس یا ابزار نه.
• credential مشترک بین ایجنت‌ها باعث می‌شه بعد از حادثه نشه فهمید کار کی بوده.
• zero trust برای ایجنت‌ها باید به «فرض انحراف» و «تأیید مداوم» تبدیل بشه.