‏امنیت عامل‌های هوش مصنوعی: درس‌هایی که Anthropic به سختی یاد گرفت

Anthropic یه مقاله مفصل فنی منتشر کرده درباره اینکه چطور سه محصول اصلی‌شون رو در برابر حملات و رفتارهای ناخواسته عامل‌های هوش مصنوعی ایمن کردن. نقطه شروع جالبه: یه سال پیش دسترسی Claude به زیرساخت‌های داخلی Anthropic غیرقابل‌قبول به نظر می‌رسید، ولی الان روتین شده. سؤال اصلی اینه که اگه یه چیزی اشتباه بره، چقدر خسارت می‌زنه — یعنی چطور «شعاع انفجار» رو محدود کنیم.

دو رویکرد کلی وجود داره: نظارت انسانی (human-in-the-loop) و محدودسازی محیط (containment). تجربه نشون داده که نظارت انسانی به‌تنهایی کافی نیست؛ داده‌های Anthropic می‌گه کاربران تقریباً ۹۳٪ از درخواست‌های تأیید رو بدون توجه قبول می‌کنن و با گذشت زمان کمتر دقت می‌کنن. بنابراین تمرکز اصلی روی containment رفته: sandbox، ماشین مجازی، و کنترل ترافیک خروجی.