‏AIUC؛ استاندارد و گواهی امنیت برای ایجنت‌های هوش مصنوعی

به گزارش TechCrunch، Rune Kvist از کارمندهای اولیه‌ی Anthropic و Rajiv Dattani مدیر عملیات سابق METR (یه مؤسسه‌ی تحقیقاتی ایمنی هوش مصنوعی) استارتاپی به اسم Artificial Intelligence Underwriting Company یا AIUC راه انداختن. این شرکت روز سه‌شنبه یه راند Series A به ارزش ۴۰ میلیون دلار به رهبری Ribbit Capital اعلام کرد. قبلاً هم ۱۵ میلیون دلار seed گرفته بود و مجموع سرمایه‌ش به ۵۵ میلیون دلار رسیده.

تو راند seed، صندوق NFDG متعلق به Nat Friedman و Ben Mann هم‌بنیان‌گذار Anthropic هم حضور داشتن. Cursor، Lovable، Harvey و ElevenLabs از مشتری‌های AIUC هستن. Kvist می‌گه با هوشمندتر شدن AI، کنترل و به‌کارگیریش سخت‌تر می‌شه، نه راحت‌تر.

به گفته‌ی Kvist، مشکل امروز این نیست که مدل‌ها به اندازه‌ی کافی هوشمند نیستن. بانک‌ها، بیمارستان‌ها، دولت‌ها و ارتش‌ها به مشتری‌هاشون قول دادن یه سیستم چه کارهایی می‌کنه و چه کارهایی نمی‌کنه، و الان هیچ‌کس نمی‌تونه این رو برای ایجنت‌ها تضمین کنه. برای همین خیلی‌هاشون از به‌کارگیری AI عقب می‌کشن.

راه‌حل AIUC اینه که یه مدل آشنا از امنیت سایبری رو برای ریسک‌های AI پیاده کنه. الگوش SOC 2 هست، یعنی استاندارد رایجی که شرکت‌ها باهاش نشون می‌دن داده‌ها رو امن نگه می‌دارن. AIUC استانداردی به اسم AIUC-1 نوشته و یه سرویس تست هم ساخته که ایجنت‌ها رو باهاش می‌سنجه. برای نوشتن استاندارد، با یه گروه حدود ۲۵۰ نفره از مدیرهای امنیت و ریسک، یعنی همون خریدارهای ایجنت، هر ماه جلسه دارن و می‌پرسن موقع خرید دنبال چی هستن.

هر ایجنت از یه مجموعه‌ی حدود ۵۰۰۰ تستی رد می‌شه که رفتارش رو تو سناریوهایی مثل jailbreak (دور زدن محدودیت‌های مدل با پرامپت)، hallucination (ساختن اطلاعات غلط) و نشت داده بررسی می‌کنه. نتیجه یه گزارش حدوداً ۱۰۰ صفحه‌ایه که نشون می‌ده ایجنت کجا امن و قابل اعتماده و کجا نه. خود تست‌ها رو ایجنت‌های هوش مصنوعی اجرا می‌کنن و داده‌ها رو هم AI تحلیل می‌کنه، ولی ممیزی نهایی رو آدم‌ها تأیید می‌کنن.

این کار شبیه کاریه که METR برای آزمایشگاه‌های بزرگ AI انجام می‌ده، هرچند تمرکز METR تا همین اواخر بیشتر روی عملکرد بوده، یعنی اینکه ایجنت کار رو درست تموم می‌کنه یا نه. Dario Amodei، مدیرعامل Anthropic، هم اخیراً به خاطر افزایش رفتارهای نادرست ایجنت‌ها پیشنهاد داده ارزیاب‌های مستقل داخل آزمایشگاه‌های پیشرو مستقر بشن. AIUC داخل شرکت مشتری مستقر نمی‌شه، ولی هدفش مشابهه: یه ارزیابی مستقل قبل از تصمیم به خرید.

نکات کلیدی:

• AIUC یه راند Series A به ارزش ۴۰ میلیون دلار به رهبری Ribbit Capital گرفته و کل سرمایه‌ش ۵۵ میلیون دلاره.
• استاندارد AIUC-1 با الگوبرداری از SOC 2 و با نظر حدود ۲۵۰ مدیر امنیت و ریسک نوشته شده.
• هر ایجنت با حدود ۵۰۰۰ تست برای jailbreak، hallucination و نشت داده سنجیده می‌شه و یه گزارش حدود ۱۰۰ صفحه‌ای می‌گیره.
• تست‌ها رو ایجنت‌های AI اجرا می‌کنن، ولی ممیزی نهایی رو آدم‌ها تأیید می‌کنن.
• Cursor، Lovable، Harvey و ElevenLabs از مشتری‌های AIUC هستن.