‏تکنومحوری در امنیت هوش مصنوعی: یک اشتباه بزرگ

جاشوا سکس، محقق امنیت، در این مقاله با مفهومی که اون رو تکنومحوری (Technocentrism) می‌نامه مقابله می‌کنه: تمایل جامعه‌ی AI safety به اینکه مدل هوش مصنوعی رو به‌عنوان منبع اصلی خطر و واحد اصلی تحلیل ببینه. به نظر او، این رویکرد اشتباهه — موضوع اصلی باید انسان‌ها باشن: اینکه چه کسی از مدل‌ها چطور استفاده می‌کنه، چه انگیزه‌هایی رفتار رو شکل می‌ده، و چه ساختارهای سازمانی در پاسخ به خطرات وجود دارن.

این سوگیری ریشه‌های مختلفی داره: اکثریت دانشمندان کامپیوتر در محافل AI safety در برابر دانشمندان اجتماعی، تمرکز بودجه روی تحقیقات مهندسی‌محور، و فرهنگی که بنچمارک‌های آزمایشگاهی رو معادل «امنیت هوش مصنوعی» می‌دونه. نتیجه اینه که تحقیقات مدل‌محور هرگز نمی‌تونه بگه کِی، کجا، و آیا اصلاً یه خطر تئوریک در دنیای واقعی اتفاق می‌افته.

سکس از تجربه‌اش در Meta مثال می‌زنه: در حالی که محققان ML دهه‌ی ۲۰۱۰ روی حملات گرادیانی و مسموم‌کردن داده (data poisoning) تمرکز داشتن، مهاجمان واقعی این تکنیک‌ها رو کنار گذاشتن. اونا به‌جای محاسبه‌ی گرادیان، از Photoshop استفاده می‌کردن تا از فیلترهای محتوا فرار کنن، یا با dog-whistling (استفاده از کدهای زبانی غیرمستقیم) سخنان نفرت‌انگیز رو پنهان می‌کردن.

حتی برای نگرانی‌های وجودی‌تر مثل از دست رفتن کنترل بر مدل‌های فوق‌هوشمند، سکس می‌گه که مشکل اصلی باز هم انسانیه: اینکه کدام وظایف حیاتی جامعه به مدل‌ها سپرده می‌شه، آیا اپراتورها انگیزه دارن سیگنال‌های هشداردهنده‌ی اولیه رو گزارش بدن، و آیا قوانین نظارتی درستی وجود دارن. رفتار انسانی تعیین می‌کنه که یه شکست تکنیکی تبدیل به فاجعه بشه یا نه.

آنالوژی جالبی هم مطرح می‌شه: ایمنی هوانوردی نه فقط از نوآوری فنی، بلکه از فرهنگ گزارش‌دهی، حلقه‌های یادگیری سازمانی، و انضباط عملیاتی‌ای حاصل شد که دهه‌ها طول کشید و هیچ‌کس از نگاه‌کردن به بدنه‌ی هواپیما نمی‌تونست پیش‌بینیش کنه.

راه‌حل پیشنهادی سکس ایجاد یه گروه کاری بسته و مکرر درباره‌ی AI و عملیات سایبری تهاجمیه — مشابه مدل جامعه‌ی FIRST در پاسخ به حوادث. سه تا چهار بار در سال، با قوانین Chatham House (محرمانگی هویت گویندگان)، ۳۰ تا ۴۰ نفر از تیم‌های safety لب‌ها، CISOهای سازمانی، بازرسان جرایم سایبری، و اقتصاددانان امنیت. خروجی: یه گزارش فصلی که مشخص کنه کدام قابلیت‌های AI واقعاً در حملات استفاده می‌شن، کجا اصطکاک عملیاتی وجود داره، و کدام پیش‌بینی‌های قبلی رد شدن.

نکات کلیدی:

• تکنومحوری یعنی تمرکز بیش از حد روی مدل و غفلت از عوامل انسانی، سازمانی، و اقتصادی
• مهاجمان واقعی به ندرت از تکنیک‌های پیچیده‌ی ML استفاده می‌کنن؛ مسیرهای ساده‌تر رو ترجیح می‌دن
• حتی در سناریوی از دست رفتن کنترل بر AI، انگیزه‌های سازمانی و قوانین نظارتی نقش تعیین‌کننده دارن
• الگوی هوانوردی نشون می‌ده که ایمنی واقعی از فرهنگ گزارش‌دهی و یادگیری سازمانی می‌آد
• پیشنهاد: ایجاد «علم حوادث AI» با گروه‌های کاری بین‌سازمانی و گزارش‌های فصلی مبتنی بر داده‌ی واقعی