‏سه سناریوی سم آلتمن برای آیندهٔ هوش مصنوعی فوق‌قدرتمند

طبق گزارش The Information، سم آلتمن تو صحبت‌های داخلی با کارمندای OpenAI گفته که تو صنعت معمولاً سه مسیر برای آیندهٔ AI فوق‌قدرتمند مطرح می‌شه. این حرف‌ها عمومی نبوده و از طریق دو نفر که از جلسه خبر داشتن بیرون اومده. هیچ‌کدوم از این سه گزینه هم برنامهٔ رسمی OpenAI نیست.

سناریوی اول یه نهاد بین‌المللی به سبک IAEA (آژانس بین‌المللی انرژی اتمی) هست. یعنی بازرس‌هایی که بتونن شرکت‌های AI رو بررسی کنن، تست‌های ایمنی رو ببینن و چک کنن هر آزمایشگاه چقدر قدرت محاسباتی برای آموزش مدل مصرف می‌کنه. گفته می‌شه آلتمن همین رو ترجیح می‌ده و قبلاً تو شورای امنیت سازمان ملل هم ازش حرف زده. مشکل اصلی اینه که آمریکا و چین باید بازرسی خارجی رو قبول کنن و به هم اعتماد کنن.

سناریوی دوم اسمش «طرح Demis» هست، به اسم دمیس هسابیس مدیرعامل Google DeepMind. ایده اینه که آزمایشگاه‌های رقیب ادغام بشن، شبیه CERN که کشورهای اروپایی منابعشون رو برای ساخت برخورددهندهٔ بزرگ هادرون روی هم گذاشتن. منطقش اینه که خود رقابت آزمایشگاه‌ها رو مجبور می‌کنه از تست ایمنی بزنن. منتقدی مثل David Shapiro با اشاره به مسئلهٔ ژنرال‌های بیزانسی (یعنی معمای هماهنگی بین طرف‌هایی که نمی‌تونن کار همدیگه رو تأیید کنن) می‌گه این کار عملی نیست. تازه خود هسابیس هم اخیراً بیشتر از یه نهاد استانداردگذار سبک‌تر حرف می‌زنه.

سناریوی سوم «طرح Eliezer» هست، به اسم الیزر یودکوفسکی پژوهشگر ایمنی AI. اینجا یه شرکت زودتر از بقیه به recursive self-improvement می‌رسه، یعنی AI اون‌قدر توانا می‌شه که خودش طراحی خودش رو بهتر کنه و این چرخه پشت سر هم تکرار بشه. اون شرکت بعد از این برتری استفاده می‌کنه تا GPUهای رقبا رو «ذوب» کنه، یعنی چیپ‌هایی که مدل‌ها روشون اجرا می‌شن رو از کار بندازه. این ایده از «pivotal act» یودکوفسکی میاد. آلتمن این گزینه رو «افتضاح» خونده و گفته فقط برای کامل بودن اسمش رو آورده.

منتقدها، از جمله Beth Bezos از جریان شتاب‌گرایی مؤثر (e/acc)، می‌گن هر سه گزینه به یه singleton ختم می‌شن، یعنی یه تصمیم‌گیر واحد بالای کل سیستم. فرقی نمی‌کنه این قدرت دست یه ناظر باشه، یه آزمایشگاه ادغام‌شده یا یه شرکت. سؤال اصلی اینه که آیا تمرکز قدرت تنها راه ایمنیه یا یه اکوسیستم رقابتی و پخش‌شده هم می‌تونه امن بمونه.

زمان این ماجرا هم مهمه. این حرف‌ها درست وقتی بیرون اومده که دولت آمریکا داره اولین چارچوب نظارتیش رو برای شرکت‌هایی که اسمشون رو «توسعه‌دهنده‌های ابرهوش» گذاشته راه می‌ندازه.

نکات کلیدی:

• منبع گزارش The Information هست و حرف‌ها داخلی بوده، نه سخنرانی رسمی.
• گزینهٔ مورد علاقهٔ آلتمن یه ناظر بین‌المللی به سبک IAEA هست.
• «طرح Demis» یعنی ادغام آزمایشگاه‌ها به سبک CERN، به اسم دمیس هسابیس.
• «طرح Eliezer» یعنی سلطهٔ یه شرکت با recursive self-improvement و از کار انداختن GPUهای رقبا.
• آلتمن گزینهٔ سوم رو «افتضاح» دونسته و هیچ‌کدوم از سه گزینه هنوز اجرا نشده.