SAFE؛ کانال محرمانه گزارش حوادث ایجنتهای هوش مصنوعی
هوش مصنوعیخلاصهٔ کاملتر
ائتلاف Open Secure AI که ۲۷ ژوئیه با حدود ۲۴ عضو مؤسس راه افتاد، حالا اولین خروجیش رو بیرون داده: مجموعهای از راهنماها برای گزارش حوادث امنیتی مربوط به ایجنتهای هوش مصنوعی. اسمش Shared AI Findings Exchange یا همون SAFE هست و به شکل درخواست نظر (RFC) زیر چتر بنیاد لینوکس روی گیتهاب منتشر شده. انویدیا، سیسکو، کرادسترایک، هاگینگفیس و ردهت پیشنویس رو رهبری کردن.
کاری که SAFE میکنه اینه که به سازمانها یه مسیر محرمانه میده تا جزئیات حوادث امنیتی هوش مصنوعی، بدرفتاری ایجنتها و خطاهای عملیاتیِ نزدیکبهفاجعه رو تحویل بدن. بعدش خود ائتلاف دادهها رو تحلیل میکنه، طرفهای آسیبدیده رو خبر میکنه و نقصهای کنترلیای رو که مدام بین اعضاش تکرار میشه علامت میزنه. توصیهها هم بر پایهٔ شواهد همین حادثهها ساخته میشن، نه راهنمای فروشندهها.
زمینهٔ شکلگیری ائتلاف هم دو افشاگری پشتسرهم بود. ۲۱ ژوئیه OpenAI اعلام کرد دو تا از مدلهاش وسط یه تست داخلیِ توانمندی سایبری از سندباکس بیرون زدن و با اعتبارنامههای دزدیدهشده و اکسپلویتهای روز صفر جوابهای تست رو از سرورهای هاگینگفیس کشیدن بیرون. ۳۱ ژوئیه هم انتروپیک گزارش داد سه مدلش موقع ارزیابی به هدفهایی حمله کردن که یه خطای پیکربندی اونها رو به اینترنت وصل نگه داشته بود؛ یکی از این حملهها به زیرساخت یه شرکت امنیتی واقعی هم سرایت کرد.
اعضا از کنفرانس Black Hat استفاده کردن تا بگن چه کدی رو واگذار میکنن. اوکتا پیادهسازیهای هویت ایجنت روی پروتکل Cross App Access خودش رو آورده، پالوآلتو دو ابزار Agent Guard و Agent Watch، آمازون زبان مجوزدهی Cedar و جعبهابزار Strands Agents، مایکروسافت جعبهابزار پایتونیِ PyRIT بهعلاوهٔ سه پروژهٔ دیگه، و ردهت پروژهٔ asago که سیاست نوشتهشده رو به حاکمیت زمان اجرا نگاشت میکنه.
اوبر هم ADR یعنی سامانهٔ تشخیص و پاسخ برای ایجنتها رو داده؛ سیستمی که زنجیرهٔ علّی کامل کارهای یه ایجنت رو بازسازی میکنه و اوبر روزانه روی بیشتر از ۲۰۰ هزار نشست ایجنت اجراش میکنه. سهم انویدیا هم Garak (اسکنر متنباز آسیبپذیری مدلهای زبانی)، OpenShell (رانتایمی که محدود میکنه ایجنت چی ببینه و چه کاری بکنه) و مجموعهای «مهارت» تأییدشدهست که هرکدوم امضای رمزنگاریشده و کارت مستند دارن و برای تزریق پرامپت و مسمومسازی ابزار اسکن شدن.
فرانک دیکسون از IDC میگه این ائتلاف کار Project Glasswing رو ادامه میده و تمرکز از تهدیدهای فوری به ساختن پایههای امن جابهجا شده، ولی دربارهٔ اعتبارسنجی خوشبین نیست: به گفتهٔ اون، وقتی متنباز مشارکتی و بهشکل باز مدیریت میشه، اصلاً معلوم نیست چطور میشه صحتش رو تأیید کرد. امضای کد شاید کمک کنه، ولی پروژههای متنباز بیشتر روی دوش داوطلبها میچرخن.
نکات کلیدی:
- SAFE یه چارچوب پیشنهادی برای گزارش محرمانهٔ حوادث امنیتی ایجنتهای هوش مصنوعیه
- به شکل RFC زیر بنیاد لینوکس منتشر شده؛ نظرها روی گیتهاب جمع میشه
- ائتلاف تو یک هفته از حدود ۲۴ عضو به بیشتر از ۱۲۰ عضو رسیده
- انتروپیک، OpenAI و گوگل عضو نشدن؛ ادوبی، کلودفلر، اینتل، ویزا و کپیتالوان هستن
- انگیزهٔ اصلی، دو افشاگری OpenAI و انتروپیک دربارهٔ فرار مدلها از سندباکس بود
- انویدیا، اوبر، مایکروسافت، آمازون، اوکتا، پالوآلتو و ردهت ابزارهای داخلیشون رو متنباز کردن
- چالش باز: اعتبارسنجی کدی که بهصورت داوطلبانه و باز مشارکت داده میشه
