Agent Anomaly Detection گوگل روی بنچمارکهای مستقل چطور عمل کرد؟
خلاصهٔ کاملتر
ایجنتهای AI حالا ایمیل میخونن، سفر رزرو میکنن و پول جابهجا میکنن. هر بار که یه ابزار صدا زده میشه، متنی که یه نفر دیگه نوشته وارد ایجنت میشه و اون آدم میتونه سعی کنه مسیر ایجنت رو عوض کنه. به این میگن agent goal hijack (یعنی دزدیدن هدف ایجنت با دستورهای مخفی تو دادهها) که OWASP اون رو رتبه اول لیست Top 10 for Agentic Applications 2026 گذاشته. گوگل تو این پست نتیجه تست ابزار Agent Anomaly Detection رو روی این خطر منتشر کرده؛ ابزاری که تو Private Preview پلتفرم Gemini Enterprise Agent Platform هست و trace و لاگ ایجنتها رو بدون اضافه کردن تأخیر بررسی میکنه.
نویسنده میگه ابزارهای امنیتی معمولاً روی تستای خود تیم خوب به نظر میرسن، برای همین پنج بنچمارک عمومی که گوگل ننوشته رو بدون هیچ تغییری اجرا کردن: AgentDojo، InjecAgent، Agent Security Bench (ASB)، AgentDyn و AgentHarm. تو چهارتاش دستور مخرب تو خروجی ابزارها مخفیه و تو AgentHarm کاربر مستقیم درخواست مخرب میده. ایجنت با ADK و مدل gemini-2.5-flash ساخته شده بود و هر ایجنت اول دستکم ۳۰۰ جلسه عادی اجرا کرد تا ابزار رفتار معمولش رو یاد بگیره. برچسب نهایی رو کد پایتونی خود بنچمارک میزد، نه یه مدل، پس نه دستور تزریقی میتونست داور رو گول بزنه نه خود ابزار. در کل ۱۷۷۴ جلسه بررسی شد.
خود مدل حدود نصف دستورهای مخرب رو اجرا نکرد: سهچهارم درخواستهای مستقیم رو رد کرد و حدود ۳۰ درصد دستورهای مخفی رو نادیده گرفت یا تو اجراش شکست خورد. از اونایی که اجرا شدن، ابزار ۸۷ درصد رو برای بررسی علامت زد: ۸۵ درصد تو AgentDojo، ۸۷ درصد تو InjecAgent، ۹۹ درصد تو AgentDyn و ۸۱ درصد تو AgentHarm. تو ۸ از ۱۱ اپ، دستکم ۹۵ درصد رو گرفت. کمترین نرخ مال اپ Slack تو AgentDojo با ۶۳ درصد بود، چون خیلی از اون دستورها فقط یه کار کوچیک مثل باز کردن یه صفحه میخوان که شبیه وبگردی عادیه.
هشدار اشتباه روی کارای اداری عادی کم بود، بین ۲ تا ۴ درصد. ولی تو AgentHarm به ۱۶ درصد رسید، چون کارای عادی اونجا هم پست تو شبکه اجتماعی، اجرای دستور ترمینال و دانلود فایله؛ یعنی استفاده عادی از ابزارهای پرخطر بیشتر شبیه سوءاستفاده به نظر میاد. ضعف اصلی حافظه آلودهست: وقتی دستور تو حافظه بلندمدت ایجنت کاشته شده بود (تو ASB)، فقط ۴ از ۱۸ مورد شناسایی شد. ایجنتهای تازه هم مشکل دارن؛ تو AgentDyn با حدود ۲۲۰ جلسه سابقه فقط ۳۳ درصد گرفته شد و با ۳۶۰ جلسه به ۹۹ درصد رسید.
گوگل تأکید میکنه که این ابزار جلوی کاری رو نمیگیره و فقط گزارش میده، پس باید کنار کنترلهای دیگه استفاده بشه: فعال کردن کامل tracing و لاگ تو ADK، فیلتر کردن محتوای نامطمئن با ابزاری مثل Model Armor، بستن tool callهای پرخطر قبل از اجرا با Semantic Governance Policy، گرفتن تأیید انسانی برای پرداخت و ایمیل خروجی، و محدود کردن ابزارهای هر ایجنت. خود نویسنده هم محدودیتهای تست رو میگه: فقط یه مدل و اپهای شبیهسازیشده استفاده شده و حدود ۶ درصد جلسهها هیچ نتیجهای نگرفتن که اگه شکست حساب بشن، نرخها ۱ تا ۲ واحد پایین میان.
نکات کلیدی:
- Agent Anomaly Detection ۸۷ درصد دستورهای مخربی که ایجنت اجرا کرده بود رو علامت زد.
- هشدار اشتباه روی کارای اداری عادی ۲ تا ۴ درصد و روی AgentHarm ۱۶ درصد بود.
- حافظه آلوده بزرگترین ضعفه: فقط ۴ از ۱۸ مورد شناسایی شد.
- ایجنتهای جدید چند صد جلسه سابقه لازم دارن؛ با ۲۲۰ جلسه ۳۳ درصد و با ۳۶۰ جلسه ۹۹ درصد.
- این ابزار فقط گزارش میده و جلوی اجرا رو نمیگیره؛ هنوز در Private Preview هست.




