‏ساتیا نادلا: هوش مصنوعی پیشرفته ترمز اضطراری لازم داره

طبق گزارش CNBC، ساتیا نادلا، مدیرعامل مایکروسافت، تو یه پست روی X گفته سیستم‌های هوش مصنوعی پیشرفته باید با containment (یعنی محدود نگه داشتن مدل تا نتونه از محدوده‌ش بیرون بزنه)، کنترل‌های مستقل و یه ترمز اضطراری ساخته بشن. این ترمز به آدم‌های مجاز اجازه می‌ده مدل رو وسط یه کار متوقف یا کاملاً خاموش کنن.

حرف اصلی نادلا اینه که مدل‌ها non-deterministic هستن، یعنی با یه ورودی ثابت همیشه یه خروجی ثابت نمی‌دن. پس به گفته‌ی اون باید دورشون یه طراحی سیستمی deterministic و قابل‌پیش‌بینی، کنترل انسانی و روال‌های عملیاتی مطمئن کشید. اون پیشنهاد داده با مدل‌های frontier، چه بسته و چه open weight، مثل یه «insider risk» رفتار بشه، یعنی همون‌جوری که یه شرکت مراقب کارمندی با دسترسی بالاست.

نادلا چند تا اصل رو با عنوان «اصول observability» (یعنی قابل‌مشاهده بودن رفتار سیستم) اسم برده: تنوع مدل‌ها، یه ردپای قابل‌خوندن برای آدم از کارهای مدل، تست مداوم سیستم، کنترل مستقل و قابلیت حسابرسی، containment، و افشای رخدادها. جمله‌ی معروفش اینه که قابل‌اعتمادترین سیستم ابرهوش، اونی نیست که بیشتر از همه به مدلش اعتماد داریم، بلکه اونیه که اجازه می‌ده کمتر از همه بهش اعتماد کنیم.

این حرف‌ها وسط هشدارهای زیادی از طرف چهره‌هایی مثل بیل گیتس، Dario Amodei، Sam Altman و ایلان ماسک درباره‌ی سرعت زیاد پیشرفت هوش مصنوعی زده شده. ماه پیش هم یه محقق از Anthropic استعفا داد و این شرکت و OpenAI رو متهم کرد که «با جون ما قمار می‌کنن». در مقابل، دونالد ترامپ خطرهای نابودی بشر رو رد کرده و روی جلو موندن از چین تأکید داره، هرچند دولتش یه گروه ویژه به اسم «AI Force» به رهبری Jay Clayton راه انداخته.

نکات کلیدی:

• نادلا خواستار containment، کنترل مستقل و ترمز اضطراری برای مدل‌های پیشرفته شده.
• پیشنهادش اینه که با مدل‌های frontier بسته و open weight مثل insider risk رفتار بشه.
• شش اصل observability: تنوع مدل، ردپای قابل‌خوندن، تست مداوم، کنترل و حسابرسی مستقل، containment، افشای رخداد.
• ترامپ مخالف کند کردن توسعه‌ی هوش مصنوعیه، ولی دولتش گروه «AI Force» رو راه انداخته.