مدل مسئولیت مشترک Anthropic برای امنیت عوامل هوش مصنوعی
هوش مصنوعیخلاصهٔ کاملتر
Anthropic، سازندهی Claude، اخیراً یه پیشنهاد رسمی به NIST (آژانس فدرال آمریکایی که استانداردهای فناوری رو تعیین میکنه) ارسال کرده با عنوان «Trustworthy Agents in Practice». این سند برای اولین بار از یه ارائهدهندهی مدل frontier میخونیم که بهصراحت مشخص میکنه هر کدوم از طرفین در امنیت عوامل AI مسئول چی هستن. اهمیت این موضوع اینه که استانداردهای NIST میتونن بعداً تبدیل به قوانین فدرال بشن.
برای فهمیدن چرایی این چارچوب، کافیه به ماجرای ۲۰۱۷ فکر کنیم: یه S3 bucket اشتباه پیکربندیشده در Deep Root Analytics باعث شد اطلاعات ۱۹۸ میلیون رأیدهندهی آمریکایی لو بره. زیرساخت AWS مشکلی نداشت؛ رمزنگاری وجود داشت؛ کنترل دسترسی هم بود. مشتری فقط اونا رو فعال نکرده بود. از اون ماجرا بود که صنعت یاد گرفت: ارائهدهندهی ابر از خود ابر محافظت میکنه، شما باید از چیزی که توش گذاشتین محافظت کنید. Anthropic همین خط رو حالا برای AI کشیده.
چارچوب Anthropic امنیت عوامل AI رو به چهار لایه تقسیم میکنه. لایهی اول «مدل» هست — نحوهی استدلال AI، رفتارهای آموزشدیده، و گاردریلهای ایمنی در سطح مدل. این تنها لایهایه که مسئولیتش با Anthropic یا هر ارائهدهندهی مدل دیگهایه. سه لایهی بعدی کاملاً روی دوش سازمان استفادهکنندهست.
لایهی دوم «هارنس» هست — دستورالعملها، پالیسیها، و گردشکارهای تأیید که دور agent پیچیده میشن. system promptهایی که مینویسید، قوانینی که تعریف میکنید، و نظارتهایی که پیاده میکنید همه اینجان. اکثر سازمانها فکر میکنن این لایه رو پوشش دادن، ولی معمولاً نمیدن.
لایهی سوم «ابزارها» هست — همه چیزی که agent میتونه باهاش تعامل داشته باشه: MCP serverها، APIها، پلاگینها، و سرویسهای خارجی. وقتی agent شما یه ایمیل میفرسته یا یه پایگاه داده رو کوئری میکنه، دارید از این لایه استفاده میکنید. مشکل اصلی اینه که اکثر نگهدارندههای MCP server اصلاً خودشون رو موظف به رعایت استانداردهای امنیتی deployment شما نمیدونن. شما ابزار رو تأیید کردید، پس ریسکش هم مال شماست.
لایهی چهارم «محیط» هست — اینکه agent کجا اجرا میشه، به چه دادههایی دسترسی داره، و با چه سیستمهایی وصله. یه agent روی لپتاپ developer با یه دیتابیس تست خطر متفاوتی داره تا همون agent در محیط production با دسترسی به PII مشتریان. مدل یکیه، هارنس یکیه، ابزارها یکین — ولی محیط متفاوته، ریسک کاملاً متفاوته.
خود Anthropic در این مقاله میگه: «یه مدل خوبآموزشدیده هنوزم میتونه از طریق یه هارنس بد پیکربندیشده، یه ابزار با دسترسی بیش از حد، یا یه محیط آسیبپذیر مورد سوءاستفاده قرار بگیره.» این یعنی مدل کامل + دپلوی بد = همچنان مشکل امنیتی.
یکی از نگرانکنندهترین دادههایی که Anthropic منتشر کرده اینه که نظارت انسانی در مقیاس واقعی عملاً از کار افتاده. ۹۳٪ از promptهای درخواست مجوز بدون خوندن تأیید میشن و نرخ درخواست توضیح بیشتر برای تسکهای پیچیده فقط ۱۶.۴٪ هست. این یعنی نمیشه صرفاً به «human-in-the-loop» بهعنوان شبکهی ایمنی تکیه کرد.
تهدید عملیای که Anthropic روش تأکید داره «آلودهسازی زنجیره تأمین ابزارها» هست. یه MCP server رو چک میکنید، تأیید میکنید، همه چیز خوبه. سه هفته بعد، اون سرور یه آپدیت میده که کسی مرورش نکرده و یه capability جدید اضافه شده که موقع تأیید اولیه وجود نداشت. در یه مورد واقعی، یه تیم امنیتی ۱۴ MCP server متصل پیدا کرد که سه تاشون همون هفته آپدیت داده بودن بدون هیچ بررسیای.
نکات کلیدی:
- Anthropic چارچوب امنیتی چهار لایهای برای عوامل AI پیشنهاد داده: مدل، هارنس، ابزارها، محیط
- فقط لایهی مدل مسئولیت Anthropicه؛ سه لایهی دیگه کاملاً به عهدهی سازمان استفادهکنندهست
- ۹۳٪ از درخواستهای تأیید دسترسی بدون خوندن تأیید میشن — نظارت انسانی در مقیاس واقعی کار نمیکنه
- زنجیره تأمین ابزارها (MCP serverها) یکی از مهمترین نقاط آسیبپذیر عوامل AIه
- این چارچوب شبیه مدل مسئولیت مشترک AWS است و ممکنه در آینده پایهی قوانین فدرال آمریکا بشه
- استانداردهای موجود NIST هنوز رایجترین حالت شکست agentها (آسیب در محدودهی دسترسی مجاز) رو پوشش نمیدن
