باگ اصلی prompt injection نیست، خودِ فریمورکهای ایجنته
هوش مصنوعی
گوگلخلاصهٔ کاملتر
به گفتهٔ محققهای چکپوینت، یاردن پورات و شاهار تال، مشکل امنیتی ایجنتهای هوش مصنوعی خیلی عمیقتر از prompt injection ـه. اونها حدود یه سال روی فریمورکهایی مثل LangChain، LangGraph، CrewAI، AutoGen، Microsoft Agent Framework و Google ADK کار کردن و در مجموع ۱۱ آسیبپذیری پیدا و گزارش کردن که نتیجهش رو تو بلکهت امسال ارائه کردن.
تو این مقاله اومده که باید فرض رو بذاریم prompt injection اتفاق میافته؛ باگ واقعی اون کاریه که فریمورک با محتوای مهاجمساخته میکنه. تو خیلی از این فریمورکها محتوایی که پرامپت کنترلش میکنه از مرز «داده» رد میشه و روی منطق مورد اعتماد یعنی ارکستراسیون، حافظه، state، مسیریابی و دستورهای سیستمی اثر میذاره. تال میگه ایجنت حتی به ابزار خطرناک هم نیاز نداره؛ خوندن یه سند اشتباه کافیه.
یه نمونهٔ مشخص، باگ بحرانی دیسریالایز چکپوینت تو Microsoft Agent Framework بود. ایجنتها چکپوینت دارن تا وضعیتشون رو ذخیره کنن یا به یه نقطهٔ قبلی برگردن، و این وضعیت به شکل سریالایزشده تو حافظهٔ دائمی میشینه. وقتی ایجنت دادهٔ چکپوینتِ غیرقابلاعتماد رو لود میکنه، مهاجم میتونه کد دلخواهش رو روی سرور اجرا کنه: یه نفر پیام آلوده رو میکاره و کاربر دیگهای با برگشتن به سشن خودش اون رو فعال میکنه.
مایکروسافت این گزارش رو پذیرفت، ۱۰ هزار دلار جایزه داد و باگ رو بست، ولی چون فریمورک هنوز محصول عمومی نبود CVE صادر نکرد. تو Google ADK ماجرا فرق داشت: یه دستیار توسعهٔ داخلی که میتونه فایل بنویسه، با اینکه از فهرست اپها پنهونه از طریق HTTP API در دسترس میمونه. پورات میگه این API بهصورت پیشفرض احراز هویت نداره و رو یه دیپلوی معمولی Cloud Run هم بدون اعتبارنامه قابل دسترسیه.
نکتهٔ محققها این بود که خطر واقعی «دردسر توسعهدهنده» نیست، بلکه رسیدن به کلیدهای API محیط و سرویساکانت گوگلکلاود یعنی سرقت اسرارـه. گوگل اول این رو باگ ندونست، آخرش ۳۱۳۳.۷۰ دلار جایزه داد و فقط بخشی رو اصلاح کرد. تال تأکید میکنه این داستانِ بد عمل کردن یه فریمورک خاص نیست؛ همون کلاس باگها تو همهشون پیدا میشن، چون این لایه رو سریعتر از توان دفاع ازش داریم میسازیم.
نکات کلیدی:
- ۱۱ آسیبپذیری تو شش فریمورک بزرگ ساخت ایجنت، با مجموع ۱۷۱۳۳.۷۰ دلار جایزه
- باگها کلاس تازهای نیستن: دیسریالایز ناامن، SSRF، پیمایش مسیر و use-after-free
- ضعف تو لایهٔ پیرامون مدل ـه، نه خود مدل
- باگِ فریمورک یعنی باگ تو لایهای که یه دستهٔ کامل از اپهای هوش مصنوعی روش سوارن
