‏وقتی جنبش EA خودش به یه مسئلهٔ ایمنی تبدیل می‌شه

ونکاتش رائو، نویسندهٔ قدیمی وبلاگ Ribbonfarm، تو این جستار از رابطهٔ ۲۰ سالهٔ خودش با جامعهٔ rationalist شروع می‌کنه و بعد می‌ره سراغ حرف اصلیش. اون به مجموعهٔ Effective Altruism، rationalism، longtermism، پژوهش ریسک وجودی و AI safety می‌گه EA formation، یعنی یه شبکهٔ فکری و سازمانی که عضویت رسمی نداره ولی ایده‌ها و روش‌های مشترک داره.

به گفتهٔ نویسنده، این جنبش سه ریشه داره: خیریهٔ مبتنی بر شواهد مثل GiveWell، فلسفهٔ پیامدگرای آدم‌هایی مثل Peter Singer و William MacAskill، و محیط LessWrong، MIRI و Bostrom که روی ریسک AI تمرکز دارن. شاخهٔ سوم به بقیه «ریسک‌های نجومی» داد. وقتی آیندهٔ بسیار بزرگ بشریت وارد حساب‌وکتاب بشه و AI بتونه اونو نابود کنه، تقریباً هر دغدغهٔ دیگه‌ای کم‌اهمیت به نظر می‌رسه.

نقد اصلی رائو اینه که این جنبش در عدد گذاشتن روی عدم قطعیت خیلی ماهره. مثلاً احتمال انقراض با AI رو از ۳۵ به ۲۲ درصد تغییر می‌ده. ولی به خود مدلی که این عددها ازش درمیاد کمتر شک می‌کنه. به نظرش این عددها مثل ضربه‌گیر عمل می‌کنن: آدم خیلی متواضع به نظر می‌رسه، در حالی که مطمئنه اصلاً باید همه‌چیزو این‌طوری حساب کرد. به نظر اون، کثرت‌گرایی واقعی یعنی قبول کنی بعضی سنت‌ها و شیوه‌های فکری اصلاً تو چارچوب تو جا نمی‌شن.

نویسنده می‌گه این جنبش یه جور ساختار شبه‌الهیاتی هم داره: آخرالزمان (انقراض)، رستگاری (alignment) و یه پنجرهٔ تاریخی کوتاه که کارهای یه گروه کوچیک سرنوشت رو تعیین می‌کنه. اون بین «رادیکال بودن فکری» (مثل ایده‌های Yudkowsky یا Bostrom) و «انحراف نگران‌کننده» فرق می‌ذاره و پرونده‌هایی مثل FTX و Bankman-Fried یا گروه Zizian رو تو دستهٔ دوم می‌ذاره. تأکید می‌کنه که این پرونده‌ها یکسان نیستن و جنبش مستقیماً باعثشون نشده، ولی می‌گه نباید هم کنارشون گذاشت.

به گفتهٔ رائو، EA نه شبکه‌های عصبی رو اختراع کرده، نه transformer رو، و صنعت AI رو هم کنترل نمی‌کنه. مثلاً اکوسیستم چینی مثل DeepSeek و Qwen کاملاً بیرون از اونه. ولی زبانی ساخته که تعیین می‌کنه AI قدرتمند «یعنی چی» و کدوم ریسک‌ها مهم‌ترن، و آدم‌هاش وارد آزمایشگاه‌ها و بخش سیاست‌گذاری شدن.

جمع‌بندیش اینه: AI safety می‌پرسه کی ماشین رو کنترل می‌کنه، EA safety می‌پرسه کی این مدعیان کنترل رو کنترل می‌کنه. به نظرش e/acc و بقیهٔ دکترین‌های همه‌جانبه هم اگه تنها تعریف‌کنندهٔ مسئله بشن، همین‌قدر خطرناکن.

نکات کلیدی:

• EA formation اسمیه که رائو روی مجموعهٔ Effective Altruism، rationalism، longtermism و AI safety گذاشته.
• سه ریشهٔ این جنبش: GiveWell، فلسفهٔ Singer و MacAskill، و محیط LessWrong و MIRI و Bostrom.
• نقد اصلی: عدد دادن به عدم قطعیت جای شک کردن به خود چارچوب رو گرفته.
• اولین EA Summit سال ۲۰۱۳ این سه شاخه رو کنار هم آورد.
• اکوسیستم AI چین، مثل DeepSeek و Qwen، نشون می‌ده AI پیشرفته لزوماً ریشهٔ EA نداره.