سن و ترس از مرگ چطور موضع آدمها دربارهٔ شتاب AI رو عوض میکنه
خلاصهٔ کاملتر
نویسندهٔ وبلاگ herecomesthemoon تو این مقاله یه باور رایج رو بررسی میکنه: «اگه انفجار هوش اتفاق نیفته، من به هر حال میمیرم، پس باید از سریعتر ساختن ابرهوش حمایت کنم.» انفجار هوش (intelligence explosion) یعنی وقتی AI خودش رو مدام سریعتر بهتر میکنه. نویسنده اسم این استدلال رو میذاره Takeoff Pascal's Wager، یعنی نسخهٔ AI از شرط پاسکال: یه جدول دو در دو که انتخابها رو با نتیجههاشون مقایسه میکنه.
منطقش اینه: اگه شتاب بدی و alignment (یعنی همراستا کردن AI با منافع آدمها) جواب بده، جاودانه میشی. اگه شکست بخوره، زودتر میمیری. اگه هم صبر کنی، در هر دو حالت از پیری میمیری. برای کسی که اینطوری فکر میکنه، مردن تو ۵ سال یا ۵۰ سال فرق زیادی نداره، چون به هر حال میلیاردها سال مردهست. نویسنده اعتراف میکنه خودش هم یه مدت این استدلال رو قانعکننده میدونست، چون مرگ ترسناکه.
به گفتهٔ نویسنده، مشکل دقیقاً اینه که این استدلال واقعاً قانعکنندهست، ولی فقط برای یه بازهٔ سنی خاص. یه آدم ۹۰ ساله که فکر میکنه ابرهوش ۳۰ سال دیگه میاد، به هر حال بهش نمیرسه. یه بچهٔ ۱۲ ساله هم با همون پیشبینی، در هر صورت اون روز رو میبینه، پس براش فقط امن بودنش مهمه. اینطوری آدمها سه دسته میشن: طرفدارهای ایمنی، اهل شرطبندی و شکاکها.
ادعای اصلی مقاله اینه که هرچی اثر AI بیشتر دیده بشه، پیشبینی همه از زمان رسیدنش کوتاهتر میشه. نتیجهش اینه که جوونترها به سمت ایمنی میرن و مسنترها به سمت accelerationism، یعنی هل دادن برای پیشرفت هرچه سریعتر AI. نویسنده میگه خودش هم با سرعت پیشرفت AI و رسواییهای هک، به اردوگاه ایمنی و alignment رفته.
نگرانی اصلی نویسنده اینه که قدرت معمولاً دست آدمهای مسنتره. مدیرها، سرمایهدارها و سیاستمدارهایی که شاید ته دلشون از مردن قبل از رسیدن AGI میترسن، ممکنه بیسروصدا طرفدار شتاب بشن، چون کسی معمولاً از ترسش از مرگ حرف نمیزنه. نویسنده با کنایه یادآوری میکنه که دنبال جاودانگی رفتن قبلاً هم حاکمها رو به بیراهه برده، و به گفتوگوی پوتین و شی جینپینگ دربارهٔ عمر ۱۵۰ ساله با پیوند عضو و بیوتکنولوژی اشاره میکنه.
نکات کلیدی:
- Takeoff Pascal's Wager میگه: چون بدون ابرهوش به هر حال میمیری، ریسک شتاب دادن به AI ارزشش رو داره.
- این استدلال فقط برای کسایی جواب میده که نه اونقدر پیرن که به ابرهوش نرسن، نه اونقدر جوون که در هر صورت بهش برسن.
- با کوتاهتر شدن پیشبینیها، جوونترها به سمت ایمنی و مسنترها به سمت شتابگرایی میرن.
- چون قدرت معمولاً دست مسنترهاست، ترس پنهان از مرگ میتونه روی تصمیمهای کلان AI اثر بذاره.




