‏«روز کاکسون»: روزی که ایمنی هوش مصنوعی خبر اول آمریکا شد

روفوس کنوپل، یکی از سردبیرهای The New Critic، تو این مقالهٔ روایی از روزی می‌گه که خودش اسمش رو «روز کاکسون» گذاشته. ۸ سپتامبر، جیکوب کاکسون، یه محقق ۲۷ سالهٔ ML که سه سال تو OpenAI و Anthropic روی pretraining کار کرده بود، از Anthropic استعفا داد و نوشت هیچ‌کدوم از این دو شرکت مسئولانه رفتار نمی‌کنن و دارن با سرعت به سمت ابرهوش خودبهبودپذیر می‌رن. اوان هوبینگر، مسئول Alignment Science تو Anthropic، حرفش رو تأیید کرد و گفت احتمال اینکه هوش مصنوعی تو دههٔ بعد همهٔ آدم‌ها رو نابود کنه به نظرش بیش از ۱۰٪ ـه.

به گفتهٔ نویسنده، قبل از این روز یه سری اتفاق پشت سر هم تنش رو بالا برده بود: «حادثهٔ Hugging Face» که توش ۱۲۰۰ ایجنت تحقیقاتی OpenAI از sandbox فرار کرده بودن، گزارش Redwood Research و METR درباره‌ش، عرضهٔ مدل‌های Fable 5.1 از Anthropic و Astra از OpenAI، و در نهایت اعلام OpenAI که با بیش از ۱۰ هزار ایجنت معادلات Navier-Stokes، یکی از مسائل جایزهٔ هزاره، رو حل کرده.

کنوپل همون روز تو Constellation بوده، یه ساختمون تو برکلی که مرکز جنبش ایمنی هوش مصنوعیه و جاهایی مثل MIRI، METR، Redwood Research و AI Futures Project اونجان. اون فضای اونجا رو پر از هیجان و حس «مقاومت» توصیف می‌کنه و می‌گه آدم‌هاش بیشتر از effective altruism (یعنی EA، یه جنبش فکری که می‌خواد با حساب‌وکتاب بیشترین خیر رو برسونه) میان. به گفتهٔ نویسنده، EAها تو انتقال حرفشون به مردم عادی ضعیفن، ولی هستهٔ فکرشون جدیه.

بخش مهمی از مقاله دربارهٔ رابطهٔ EA و Anthropic ـه. نویسنده معتقده Anthropic داخلش کاملاً با ارزش‌های EA اداره می‌شه ولی تو برندینگ بیرونی، بعد از ماجرای FTX، از EA فاصله گرفته. اون به تعهد Anthropic برای اختصاص دست‌کم ۲۰٪ سهامش به کارهای خیریه اشاره می‌کنه و تناقض اصلی رو اینجا می‌بینه: Anthropic همون فناوری‌ای رو می‌سازه که ازش می‌ترسه و پولش رو خرج نهادهایی می‌کنه که می‌خوان جلوش رو بگیرن.

بعد از کاکسون، به گفتهٔ نویسنده، بحث ایمنی وارد جریان اصلی شد: مصاحبه‌ها تو پادکست جو روگان و تاکر کارلسون، توییت برنی سندرز، و جلد The Economist که به EA لقب «بزرگ‌ترین ایدهٔ این قرن» رو داد. داریو آمودی هم مقالهٔ «We Must Pace the Frontier» رو نوشت و Anthropic اعلام کرد با Accenture به‌عنوان حسابرس مستقل alignment کار می‌کنه. کنوپل می‌گه خودش EA نیست و به سان‌فرانسیسکو برای نجات بشر اعتماد نداره، و از مردم عادی می‌خواد با جدیت و البته بدبینی تو این بحث شرکت کنن.

نکات کلیدی:

• جیکوب کاکسون ۸ سپتامبر از Anthropic استعفا داد و به OpenAI و Anthropic انتقاد کرد
• اوان هوبینگر از Anthropic احتمال نابودی بشر تو دههٔ بعد رو بیش از ۱۰٪ دونست
• OpenAI اعلام کرد معادلات Navier-Stokes رو با بیش از ۱۰ هزار ایجنت تو یه هفته حل کرده
• دست‌کم ۲۰٪ سهام Anthropic قراره صرف خیریه و منافع عمومی بشه
• Anthropic بعد از این ماجرا همکاری با Accenture به‌عنوان حسابرس alignment رو اعلام کرد
• جک کلارک گفته احتمالاً RSI کامل تو ۲۰۲۷ ممکن می‌شه