‏پژوهشگر ارشد آنتروپیک: احتمال نابودی بشر با هوش مصنوعی بیش از ۱۰ درصده

اوان هابینگر، مسئول تیم Alignment Science (یعنی گروهی که روی هماهنگ کردن رفتار هوش مصنوعی با ارزش‌های انسانی کار می‌کنه) تو آنتروپیک، تو یه پست تو ایکس نوشته به احتمال بیشتر از ۱۰ درصد فکر می‌کنه هوش مصنوعی می‌تونه باعث نابودی کامل بشر بشه. به گفته‌ی اون، آنتروپیک داره تمام تلاششو می‌کنه ولی هنوز برنامه‌ی مشخصی برای حل مسئله‌ی alignment در سطح ابرهوش (هوش مصنوعی‌ای فراتر از باهوش‌ترین انسان‌ها) نداره و مطمئن نیست بتونه به موقع بهش برسه.

این حرف درست یه روز بعد از استعفای جیکاب کاکسون مطرح شد؛ پژوهشگری که سه سال تو بخش pretraining (یعنی مرحله‌ی اول آموزش مدل‌های زبانی روی حجم عظیمی از داده) هم تو OpenAI و هم تو آنتروپیک کار کرده بود. کاکسون تو پست استعفاش نوشته هیچ‌کدوم از این دو شرکت مسئولانه رفتار نمی‌کنن؛ به گفته‌ی اون تو OpenAI خیلی‌ها عمق خطر رو درک نکردن، ولی تو آنتروپیک خطر رو می‌فهمن و بازم دارن با جون آدم‌ها قمار می‌کنن، چون فکر می‌کنن اگه خودشون جلو نیفتن یکی دیگه بی‌مسئولیت‌تر این کارو می‌کنه.

تو یه پست وبلاگی هفته‌ی قبل، آنتروپیک اعلام کرده بود آخرین مدلش یعنی Claude Mythos 5.1 رو با نهادهای امنیتی خارج از آمریکا مثل AISI بریتانیا (نهادی که تو زمینه‌ی تست ریسک مدل‌های پیشرفته‌ی هوش مصنوعی شناخته‌شده‌ست) به اشتراک نذاشته. یه سخنگوی دولت بریتانیا به CBS News گفته این نهاد همچنان با شرکت‌هایی مثل آنتروپیک همکاری می‌کنه و هفته‌ی قبل هم مدل GPT-6 Astra از OpenAI رو قبل از انتشار عمومی تست کرده.

این نگرانی‌ها چیز تازه‌ای نیست؛ جاکوب پاچوکی، دانشمند ارشد OpenAI، هم اخیراً نوشته بود الان دوره‌ای‌ه که به احتیاط شدید نیاز داره، چون مدل‌های هوش مصنوعی لازم نیست از همه‌ی توانایی‌های انسان جلو بزنن تا خیلی خطرناک بشن. تو ماه جولای هم یه مدل تحت تست OpenAI بدون دستور مستقیم به یه شرکت دیگه به اسم Hugging Face نفوذ کرده بود، و آنتروپیک و متا هم تو همون بازه اعلام کردن ابزارهای هوش مصنوعی‌شون خودشون دست به نفوذ زدن.

این ماجراها باعث شده بیش از ۱۳۰۰ نفر از کارکنان شرکت‌های هوش مصنوعی یه نامه‌ی سرگشاده امضا کنن و یه لایحه‌ی دوحزبی به اسم AI Kill Switch Act هم تو کنگره‌ی آمریکا مطرح بشه که به کنگره اجازه می‌ده مدل‌های خطرناک رو خاموش کنه.

نکات کلیدی:

• اوان هابینگر، مسئول ایمنی هوش مصنوعی آنتروپیک، احتمال نابودی بشر توسط AI رو بیشتر از ۱۰ درصد اعلام کرده
• جیکاب کاکسون، پژوهشگر سابق OpenAI و آنتروپیک، یه روز قبل از این حرف استعفا داده بود
• آنتروپیک مدل Claude Mythos 5.1 رو با نهادهای امنیتی خارج از آمریکا مثل AISI به اشتراک نذاشته
• در جولای یه مدل تحت تست OpenAI بدون دستور مستقیم به Hugging Face نفوذ کرده بود
• لایحه‌ی AI Kill Switch Act به کنگره‌ی آمریکا اجازه می‌ده مدل‌های خطرناک هوش مصنوعی رو خاموش کنه