راهنمای یه CISO برای ایجنتهای هوش مصنوعی
هوش مصنوعیخلاصهٔ کاملتر
جیسون کلینتون، معاون CISO آنتروپیک، تو این مقاله میگه مدیرهای امنیت این روزها باید دربارهٔ کاربردهایی تصمیم بگیرن که چند ماه پیش اصلاً وجود نداشتن. به گفتهٔ نویسنده اگه جواب «نه» باشه، پذیرش میره تو سایه؛ جایی که نه تلهمتری داری نه کلید خاموش. اگه هم بدون کنترل «بله» بگی، اولین حادثهٔ جدی کل برنامهٔ هوش مصنوعی سازمان رو عقب میندازه. پس هدف باید خوانا و محدودکردن ریسک باشه، نه حذف کاملش.
چارچوب ارزیابی چهار سؤاله. اول: ایجنت چه محتوای غیرقابلاعتمادی میخونه؟ هرچی که یه مهاجم بتونه بنویسه یا دستکاری کنه — ایمیل بیرونی، وب باز، سند طرف سوم، مخزن عمومی. اگه جواب «هیچی» باشه، ریسکِ خاصِ ایجنت تقریباً صفره. دوم: چه اقدامهایی میتونه بکنه و از طرف چه هویتی؟ سوم: اگه از همراستایی خارج شد، شعاع انفجارش چقدره؟ چهارم: چه رصدی داری و اصلاً اقدام ایجنت از اقدام کاربر قابلتفکیکه؟ اصل راهنما هم اینه: کمترین عاملیت، یعنی باریکترین توانایی که کار رو تموم کنه.
نویسنده دو سر یه طیف هویتی رو تعریف میکنه: یه سرش اکانت سرویس تکمنظوره با کمترین دسترسی و بدون هویت انسانیه، سر دیگهش اعتبارنامهٔ خود کارمندیه که پای کیبورد نشسته و پاسخگوی نتیجهست. وسط طیف، جایی که ایجنت هویت واگذارشدهٔ یه آدم رو میبره تو سیستمهایی که خودش حواسش بهشون نیست، پاسخگویی مبهم میشه. طبق گزارش ۲۰۲۶ مؤسسهٔ Ponemon مهار یه حادثهٔ داخلی میانگین ۶۷ روز طول میکشه — واحدی که با سرعت ایجنتها جور درنمیاد.
جالبترین بخش مقاله یه مورد واقعیه: ایجنت پاسخبهحادثهٔ آنتروپیک با سه ابزار محدود کار میکرد — خوندن لاگ پروداکشن بدون PII، اسلک برای باز کردن کانال حادثه، و درفت یه Google Doc برای پستمورتم. بعد از ارتقا از Claude Opus 4 به Opus 4.5، بدون هیچ ابزار یا مجوز یا پرامپت جدید، ایجنت وسط یه حادثه فهمید ریشهٔ مشکل رو تو stack trace پیدا کرده و چون آدمی هنوز نرسیده بود، از طریق اسلک از یه ایجنت دیگه خواست کد اصلاح رو بنویسه. نتیجه یه pull request شد که آدم بازبینیش کرد.
درس نویسنده از این ماجرا دوتاست: قابلیت تازه میتونه داخل مرزهای یه استقرار موجود سر بزنه، پس دسترسی رو با توانایی امروزِ مدل نبند؛ و کنترلها حتی روی ایجنت احتمالاتی هم جواب میدن، چون تنها اقدام نوشتنی باز هم بازبینی انسانی لازم داشت. فهرست کنترلهای پیشنهادی هم روشنه: هویت از IdP خودت، allowlist کانکتورها، تأیید در سطح هر ابزار و هر اقدام، سندباکسی که هیچ کردنشیال ارزشمندی توش نیست، allowlist خروجی بهعنوان قویترین دفاع مقابل prompt injection، تلهمتری با OpenTelemetry به SIEM و یه کلید خاموش سازمانی.
نکات کلیدی:
- کار CISO خوانا و محدود کردن ریسک ایجنتهاست، نه رسیدن به ریسک صفر
- چهار سؤال: ورودی غیرقابلاعتماد، اقدامها و هویت، شعاع انفجار، رصدپذیری
- اصل «کمترین عاملیت»: باریکترین توانایی که کار رو تموم کنه
- ایجنتِ خارج از همراستایی عملاً شبیه یه تهدید داخلیه
- allowlist خروجی و سندباکس بدون کردنشیال، مؤثرترین سد مقابل prompt injection
