‏زوی موشوویتز: موج نگرانی از خطر AI تازه شروع شده

زوی موشوویتز تو این پست می‌گه داریم یه preference cascade رو می‌بینیم؛ یعنی وقتی آدم‌ها می‌بینن بقیه هم همون نگرانی رو دارن، یهو همه با هم علنیش می‌کنن. جرقه‌ش توییت استعفای جیکوب کاکسون از تیم ایمنی Anthropic بود. به گفتهٔ زوی، این توییت گرفت چون حالا مردم آمریکا اونقدر دربارهٔ AI می‌دونن که براشون مهم باشه.

نشونه‌ها زیادن. نظرسنجی AI Impacts می‌گه پژوهشگرای AI به‌طور میانگین حدود ۱۸ درصد احتمال انقراض یا بی‌قدرت شدن دائمی بشر رو می‌دن. نظرسنجی Politico هم نشون داده نزدیک دو سوم آمریکایی‌ها حداقل خطر متوسط می‌بینن. تو یه جلسهٔ مدیرای ارشد، ۹۳ درصد گفتن ترامپ اشتباه کرده که خطر AI رو «فریب» خونده. ایلان ماسک هم دوباره از یه نهاد مستقل تنظیم مقررات AI، شبیه FAA، حمایت کرده.

چند نفر دیگه هم صداشون بلند شده. بلال چغتایی از Google DeepMind استعفا داده و گفته پیشرفت توانایی مدل‌ها خیلی سریع‌تر از فهم ما از alignment (یعنی اینکه AI واقعاً همون چیزی رو بخواد که ما می‌خوایم) جلو می‌ره. متیو ایگلسیاس هم یه ترتیب پیشنهادی داده: اول قوانین سبک شفافیت، بعد کنترل صادرات، و در نهایت مذاکره با چین.

زوی قبول داره که این موج خوبه، ولی می‌گه کافی نیست. به نظرش فقط «Pace the Frontier» یعنی کند کردن آزمایشگاه‌های پیشرو، بدون حل مشکل اصلی فقط مرگ رو عقب می‌ندازه. نگرانه که این ماجرا سیاسی و قطبی بشه، چون دولت ترامپ و شرکت‌هایی مثل Nvidia و a16z مخالفن.

کاتیا گریس هم یه اشتباه رایج رو نشون داده: آدما احتمال نابودی رو کنار احتمال آرمان‌شهر می‌ذارن و می‌گن «در کل مثبته». ولی مقایسهٔ درست بین مسیر فعلی و یه مسیر امن‌تر برای رسیدن به AI پیشرفته‌ست. دنیل کوکوتایلو هم نگرانه که نتیجهٔ این همه فشار فقط چندتا بازرس داخل شرکت‌ها باشه که عملاً سرعت رو کم نمی‌کنن.

نکات کلیدی:

• میانگین تخمین پژوهشگرای AI از خطر انقراض تو نظرسنجی AI Impacts حدود ۱۸ درصده
• تقریباً دو سوم آمریکایی‌ها حداقل خطر متوسط نابودی بشر با AI می‌بینن
• ۹۳ درصد مدیرای یه جلسهٔ Yale با حرف ترامپ دربارهٔ «فریب» بودن خطر AI مخالف بودن
• جیکوب کاکسون از Anthropic و بلال چغتایی از DeepMind به‌خاطر نگرانی ایمنی استعفا دادن
• زوی می‌گه کند کردن پیشرفت بدون حل alignment کافی نیست