‏چرا محقق‌های AI واقعاً از نابودی بشر می‌ترسن

یه توییت استعفای یه محقق انتروپیک دوباره بحث «AI ممکنه همه رو بکشه» رو داغ کرد. خیلیا این حرف رو باور نکردن و گفتنش تبلیغاته، یا برای بالا بردن سهام شرکت‌های AI یا خودشیرینیه. ولی به گفتهٔ نویسنده، این باور خیلی واقعی‌تر از این حرفاست: از اواسط دهه ۲۰۰۰، الیعازر یودکاوسکی -پدر فرهنگ ایمنی AI- داره راجع به خطر نابودی بشر توسط هوش مصنوعی فوق‌هوشمند می‌نویسه، و از حدود سال ۲۰۱۰ این جامعه اصطلاح p(doom) رو ساختن؛ یعنی احتمالی که به نظرشون AI باعث آخرالزمان بشه.

طبق مقاله، سناریوهای اصلی این‌جوریَن: ساخت یه ویروس یا بیماری فوق‌کشنده تو آزمایشگاه‌های خودکار زیستی، راه انداختن جنگ اتمی جهانی از طریق نفوذ به سیستم‌های نظامی، یا حتی تصرف رباتا و پهپادها. دلیل نگرانی از «هم‌راستایی» (alignment) هم همینه: اگه یه AI فوق‌قدرتمند اهداف متفاوت از انسان داشته باشه، ممکنه بشریت رو -چه عمدی چه بدون قصد، مثل خراب کردن یه لونهٔ مورچه برای ساخت جاده- از بین ببره.

نویسنده به سه تا از رایج‌ترین جواب‌های منتقدا اشاره می‌کنه و همشونو رد می‌کنه: اینکه همیشه یه گروه از آدما جون سالم به در می‌برن (که به نظرش فرقی نداره)، اینکه دولت جلوشو می‌گیره (که خودش نشون می‌ده تکنولوژی چقدر خطرناکه)، و اینکه می‌شه خودشو خاموش کرد (که به گفتهٔ نویسنده یه AI به این قدرتمندی می‌تونه جلوی خاموش شدنش رو هم بگیره).

سؤال اصلی اینه: پس چرا خود این آدما همچنان دارن رو AI کار می‌کنن؟ نویسنده می‌گه چون به نظرشون تنها راه نجات بلندمدت بشر هم همین هوش مصنوعیه، اگه بشه مشکل هم‌راستایی رو حل کرد. از اون مهم‌تر، تو این رقابت «برنده همه‌چیزو می‌بره»: طبق نظریهٔ «foom» یا جهش ناگهانی، اولین آزمایشگاهی که به هوش مصنوعی فوق‌هوشمند برسه، می‌تونه جلوی بقیه رو هم بگیره -با هک کردن، متقاعد کردن یا حتی حمله به دیتاسنترهاشون. برای همین خیلیاشون فکر می‌کنن باید شبانه‌روز کار کنن، وگرنه یکی دیگه زودتر به این قدرت می‌رسه.

نکات کلیدی:

• اصطلاح p(doom) یعنی احتمال نابودی کامل بشر توسط AI، و از حدود سال ۲۰۱۰ تو جامعهٔ تحقیقاتی رایجه
• الیعازر یودکاوسکی از سال ۲۰۰۸ داره راجع به خطر AI فوق‌هوشمند می‌نویسه
• سناریوهای اصلی نابودی: بیماری مهندسی‌شده، جنگ اتمی با دخالت AI، و تصرف رباتیک
• نظریهٔ «foom» می‌گه اولین آزمایشگاهی که به AI فوق‌هوشمند برسه، می‌تونه جلوی رقبا رو هم بگیره
• نویسنده خودش می‌گه بین ترس و شک‌گرایی نسبت به این سناریوها مونده