‏چالش واقعی هوش مصنوعی عاملی در سازمان‌ها: امنیت و حاکمیت

هوش مصنوعی عاملی (Agentic AI) داره از فاز آزمایشی به تولید واقعی می‌رسه و سازمان‌ها دارن کشف می‌کنن که بزرگ‌ترین مشکل‌ها نه در توانایی‌های خود هوش مصنوعی، بلکه در زیرساختی که باید ازش پشتیبانی کنه قراره. IDC تخمین می‌زنه تا پایان سال گذشته بیش از ۲۸ میلیون ایجنت هوش مصنوعی مستقر شده بوده، و پیش‌بینی می‌کنه این عدد تا سال ۲۰۲۹ به بیش از یک میلیارد برسه و روزانه ۲۱۷ میلیارد عملیات انجام بده.

TransUnion، شرکت اعتبارسنجی جهانی با درآمد ۴.۶ میلیارد دلاری، سه سال وقت و ۱۴۵ میلیون دلار صرف ساخت پلتفرم اختصاصی هوش مصنوعی عاملی خودش به اسم OneTru کرد. هدف این بود که سیستمی بسازن که هم قابل اطمینان و قابل توضیح مثل سیستم‌های قدیمی مبتنی بر قوانین باشه، هم به اندازه هوش مصنوعی مولد انعطاف داشته باشه. این سرمایه‌گذاری نتیجه داده و تاکنون ۲۰۰ میلیون دلار صرفه‌جویی به همراه داشته.

راه‌حل TransUnion اینه که وظایف رو بین لایه‌های مختلف تقسیم کنه. تصمیم‌گیری‌های اصلی و حساس همچنان توسط یک سیستم مبتنی بر قوانین (Expert System) انجام می‌شه که قابل ممیزی، قابل پیش‌بینی و کم‌تأخیره‌ست. وقتی این سیستم با موقعیت جدیدی روبرو می‌شه، یک LLM مشکل رو تحلیل می‌کنه، یک ایجنت دیگه اون رو به قانون جدیدی تبدیل می‌کنه، و بعد یک انسان نتیجه رو بررسی می‌کنه. به قول مدیر ارشد فناوری TransUnion: «جایی که استدلال نمادین و منطق ماشین‌لرنینگ داره، اجازه می‌دیم خودکار باشه. جایی که LLM درگیره، انسان رو وارد چرخه می‌کنیم.»

این رویکرد شبیه خط تولید کارخانه‌ست در مقابل کارگاه صنعتی. در خط تولید هر کارگر یک وظیفه مشخص داره، نتیجه سریع‌تر و قابل اطمینان‌تره. اما خیلی از سازمان‌ها ایجنت‌های هوش مصنوعی‌شون رو مثل یک صنعتکار تنها مستقر می‌کنن که همه چیز رو خودش انجام می‌ده. Nicholas Mattei، استاد دانشگاه Tulane، توصیه می‌کنه که سازمان‌ها روی «درزهای امنیتی» — یعنی نقاط اتصال بین اجزای مختلف سیستم — تمرکز ویژه داشته باشن. هر جایی که یک ایجنت با یک سرویس سنتی ارتباط برقرار می‌کنه، باید یک نقطه بازرسی امنیتی وجود داشته باشه.

در دنیای واقعی، نبود این زیرساخت امنیتی می‌تونه فاجعه‌بار باشه. محققان شرکت امنیتی CodeWall تونستن به پلتفرم هوش مصنوعی Lilli متعلق به McKinsey نفوذ کنن. آن‌ها گفتن به ۴۷ میلیون پیام چت، ۷۲۸ هزار فایل، ۳۸۴ هزار دستیار هوش مصنوعی و حجم عظیمی از داده‌های اختصاصی McKinsey دسترسی پیدا کردن. دلیل؟ از بیش از ۲۰۰ endpoint عمومی API، ۲۲ تا هیچ احراز هویتی نداشتن. کل این نفوذ در دو ساعت اتفاق افتاد. McKinsey سریع واکنش نشون داد و مشکل رو پچ کرد و اعلام کرد شواهدی از دسترسی غیرمجاز به داده‌های مشتریان وجود نداره.

Alessandro Perilli از IDC می‌گه مشکل اینه که بیشتر شرکت‌ها ریسک هوش مصنوعی رو هنوز با معیارهای قدیمی می‌سنجن: نشت داده، خروجی‌های بد، آسیب به برند. «اما خطر بزرگ‌تر اینه که به سیستم‌های هوش مصنوعی اختیار تفویض می‌شه.» یعنی مهاجم نه‌تنها می‌تونه چیزی ببینه که نباید، بلکه می‌تونه مخفیانه رفتار شرکت رو تغییر بده.

چالش دیگه‌ای که کمتر بهش توجه می‌شه اینه که خیلی از سازمان‌ها اصلاً نمی‌دونن چند ایجنت توی زیرساخت‌شون داره کار می‌کنه. Gartner تخمین می‌زنه ۶۹ درصد سازمان‌ها گمان می‌کنن کارمندانشون از ابزارهای هوش مصنوعی غیرمجاز استفاده می‌کنن. Swaminathan Chandrasekaran از KPMG می‌پرسه: «اگه از شما بپرسم الان چند ایجنت توی سازمانتون داره اجرا می‌شه، کجا می‌خواید دنبالش بگردید؟» ابزارهای کشف و شناسایی ایجنت‌ها تازه دارن شکل می‌گیرن و این همون زیرساختی‌ه که CIOها بهش نیاز دارن تا آرامش خاطر داشته باشن.

نکات کلیدی:

• IDC پیش‌بینی می‌کنه تا ۲۰۲۹ بیش از یک میلیارد ایجنت هوش مصنوعی فعال خواهد بود
• ساخت یک ایجنت ساده چند روز طول می‌کشه، اما حاکمیت و امنیت اون چالش اصلی‌ه
• TransUnion با ۱۴۵ میلیون دلار سرمایه‌گذاری، ۲۰۰ میلیون دلار صرفه‌جویی کرده
• تفکیک لایه‌ها: وظایف حساس به سیستم‌های مبتنی بر قوانین، و LLMها فقط برای موارد خاص
• امنیت باید در «درزهای» اتصال بین ایجنت‌ها و سیستم‌های سنتی تمرکز داشته باشه
• نفوذ به Lilli نشون داد که API endpoint بدون احراز هویت می‌تونه کل پلتفرم رو در معرض خطر بذاره
• بیشتر سازمان‌ها حتی نمی‌دونن چند ایجنت داخل زیرساخت‌شون فعاله