سپردن کنترل بشر به هوش مصنوعی؛ حتی آیندههای خوشبینانه هم نگرانکنندهان
خلاصهٔ کاملتر
روکساندرا تسلو که سه هفتهست به سانفرانسیسکو رفته، مقاله رو با یه گفتوگو شروع میکنه. یکی از کسایی که تو یه آزمایشگاه بزرگ AI کار میکنه، خیلی خونسرد بهش گفته وقتی به superintelligence برسیم، بشر برای همیشه کنترل رو از دست میده و زیر دست یه «خدای AI» زندگی میکنه. بعد هم اضافه کرده که این از چیزی که واقعاً ازش میترسه، یعنی مرگ همه، خیلی بهتره. نویسنده میگه این طرز فکر اونجا اصلاً عجیب نیست.
به گفتهٔ نویسنده، فوریت بحث به خاطر recursive self-improvement یا RSI هست، یعنی سیستمهایی که خودشون نسل بعدی خودشون رو بهتر میسازن تا جایی که از کنترل آدم خارج بشن. خیلیها اونجا فکر میکنن این فقط چند ماه دیگه فاصله داره. احتمال نابودی بشر یا همون p(doom) هم مدام بحث میشه و خیلیها اون رو ۱۰ درصد یا بیشتر میدونن. یه گروه کوچیک به اسم successionistها حتی از جایگزین شدن آدمها با AI استقبال میکنن.
تمرکز اصلی مقاله ولی روی handoverism هست: سناریویی که توش بشر زنده میمونه ولی جهت آیندهش رو به AI میسپره. نویسنده به جستار Scott Alexander اشاره میکنه که ظاهراً طرفدار سپردن کارها به یه AI خداگونهست، به شرطی که مطمئن بشیم کاملاً aligned هست (یعنی هدفهاش با ما همراستاست). طرح AI 2040 هم یه واگذاری تدریجی رو توصیف میکنه که یه «نقطهٔ بیبازگشت» داره. تخمین نویسنده اینه که ۳۰ تا ۴۰ درصد جامعهٔ AI safety بیرون از آزمایشگاهها یه نسخهای از این دیدگاه رو دارن.
نویسنده حرفهای عمومی مدیران آزمایشگاهها رو هم مرور کرده. Tom Brown از Anthropic صریحاً از یه «handoff» به AI حرف زده، موضع Dario Amodei مبهمه ولی بوی handoverism میده، و Sam Altman ظاهراً از پذیرش این ایده به تأکید روی کنترل انسانی رسیده. Demis Hassabis و Greg Brockman هم تمدن رمانهای Culture رو الگو میدونن، که به گفتهٔ خود Iain M. Banks آدمهاش چیزی بین مسافر و حیوون خونگیان. به نظر نویسنده فقط Mustafa Suleyman موضع انسانمحور ثابتی داره.
نویسنده چند دلیل برای مخالفتش میاره. اول، اعتقاد به حق تعیین سرنوشت که با ارجاع به Tocqueville ریشهش رو تو بنیانهای آمریکا میبینه. دوم، دلیل عملی: alignment یه کار یهبارهٔ تمومشده نیست و پاسخگو نگه داشتن قدرت، قرنها نهادسازی و اصلاح لازم داشته. سوم، سابقهٔ پروژههای اقتدارگرا که به اسم دنیای بهتر قدرت رو متمرکز کردن، با ارجاع به Karl Popper. و آخر، ثابت شدن ارزشهای ۲۰۲۶ برای همیشه، که به تعبیر Hannah Arendt حق نسلهای بعد برای شروع چیزای تازه رو ازشون میگیره.
نکات کلیدی:
- handoverism یعنی بشر زنده بمونه ولی کنترل آیندهش رو به یه AI خیرخواه بسپره
- تخمین نویسنده: ۳۰ تا ۴۰ درصد جامعهٔ AI safety بیرون از آزمایشگاهها نسخهای از این دیدگاه رو دارن
- خیلیها تو سانفرانسیسکو p(doom) رو ۱۰ درصد یا بیشتر میدونن
- Tom Brown از Anthropic صریحاً از «handoff» کنترل به AI حرف زده
- نویسنده میگه درمان بیماریها لزوماً به یه AI خداگونه نیاز نداره
- استدلالهای مخالف نویسنده به Tocqueville، Popper و Arendt تکیه دارن




