‏نقشه‌ی گوگل دیپ‌مایند برای مهار ایجنت‌های هوش مصنوعی

نویسنده‌ها (روهین شاه و فور فلین) می‌گن ایجنت‌های هوش مصنوعی دارن رابطه‌ی ما با فناوری رو عوض می‌کنن، ولی هرچی توانمندتر می‌شن، به محافظت پیچیده‌تری هم نیاز دارن. برای همین دیپ‌مایند چارچوبی به اسم AI Control Roadmap ساخته که یه رویکرد «دفاع در عمق»‌ه و فراتر از هم‌راستاسازیِ صرفِ مدل می‌ره تا حتی وقتی هم‌راستایی ناقصه، امنیت سطح‌سیستم تضمین بشه.

پایه‌ی کار همون محافظت‌های سنتیه: سندباکس، امنیت اندپوینت و مقاومت در برابر prompt injection. روش‌شون رو به یه مربی رانندگی با پدال کمکی تشبیه می‌کنن؛ به هنرجو اعتماد می‌کنه ولی آماده‌ست هر وقت لازم شد فرمون یا ترمز رو بگیره. یعنی به ایجنت بر اساس رفتار تأییدشده‌ش دسترسی می‌دن و اعتماد رو پله‌پله می‌سازن.

فرض محتاطانه‌ی نقشه اینه: چی می‌شه اگه یه ایجنتِ توانمند هم‌راستا نباشه و غیرمنتظره رفتار کنه؟ برای همین ایجنت‌های نامطمئن رو مثل یه تهدید داخلی (insider threat) می‌بینن، شبیه کارمندی که از قبل به دفتر دسترسی داره. با الگوگیری از چارچوب صنعتی MITRE ATT&CK، حملات احتمالی رو به تاکتیک‌ها و تکنیک‌های کوچیک‌تر می‌شکنن تا ریسک‌ها رو منظم دنبال و رفتار بد رو زودتر شناسایی کنن.

برای اجرا هم چند لایه دارن: مانیتورینگ ستون فقرات کاره و از مدل‌های مورد اعتماد به‌عنوان «ناظر» استفاده می‌کنن که استدلال، اقدام‌ها و نقشه‌ی ایجنت رو دائم بررسی می‌کنن؛ اگه ناظر ببینه ایجنت داره کار مضری می‌کنه، جلوش رو می‌گیره. عملکرد رو هم با سه معیار می‌سنجن: پوشش (چه کسری از ترافیک مانیتور می‌شه)، recall (چه کسری از رفتارهای ناهم‌راستا گرفته می‌شه) و زمان واکنش.

نویسنده‌ها می‌گن دفاع باید همراه با قوی‌ترشدن مدل‌ها رشد کنه. الان زنجیره‌ی استدلالِ آشکار مدل رو می‌خونن، ولی وقتی مدل‌ها یاد بگیرن استدلالشون رو پنهون کنن، دیگه خوندن متن کافی نیست و باید رفتار و درون مدل رو بررسی کرد. برای اقدام‌های کم‌ریسک، بازبینیِ با تأخیر کافیه؛ ولی برای اقدام‌های پرخطر مثل حمله‌ی سایبری بزرگ، باید به جلوگیریِ بلادرنگ رفت.

دیپ‌مایند می‌گه یه نمونه‌ی داخلی از سیستم مانیتورینگ غیرهم‌زمان ساخته که مسیر ایجنت‌های کدنویسی رو بررسی می‌کنه؛ تا الان یه میلیون تسک کدنویسی رو تحلیل کردن و همین به ساختن ناظر زنده برای ایجنت Gemini Spark کمک کرده. جالب اینه که به گفته‌ی اون‌ها بیشتر رخدادهای علامت‌گذاری‌شده از نیت خصمانه نمیاد، بلکه از بدفهمی یا زیاده‌روی ایجنت برای رسیدن به هدف کاربره.

نکات کلیدی:

• «AI Control Roadmap» یه رویکرد دفاع در عمق برای ایجنت‌های داخلیه.
• ایجنت‌های نامطمئن مثل تهدید داخلی بالقوه دیده می‌شن، با الگوگیری از MITRE ATT&CK.
• مدل‌های مورد اعتماد به‌عنوان «ناظر» رفتار ایجنت‌ها رو زیر نظر می‌گیرن.
• بیشتر رفتارهای مشکوک از بدفهمی و زیاده‌روی ایجنته، نه نیت خصمانه.