‏سه پایان احتمالی رقابت هوش مصنوعی از نگاه سم آلتمن

طبق گزارشی از The Information که به دو نفر آشنا با ماجرا استناد کرده، سم آلتمن به کارمندای OpenAI گفته صنعت هوش مصنوعی سه راه برای امن کردن این فناوری در سطح جهانی بررسی کرده. این حرف یه موضع رسمی یا بیانیهٔ عمومی نبوده. سه گزینه اینان: یه نهاد بین‌المللی که استانداردهای ایمنی رو روی همه اجرا کنه، ادغام آزمایشگاه‌های اصلی تو یه سازمان، یا اینکه یه شرکت زودتر از بقیه به recursive self-improvement برسه و از این برتری برای از کار انداختن رقبا استفاده کنه.

recursive self-improvement یعنی جایی که خود AI اونقدر توانا می‌شه که کار تحقیقاتی روی خودش رو انجام بده و نسخهٔ بهتری از خودش بسازه، بعد اون نسخه هم همین چرخه رو تکرار کنه. نگرانی اصلی سرعتشه: نرم‌افزار بی‌وقفه کار می‌کنه و چندتا کپی از یه مدل می‌تونن موازی تحقیق کنن. یعنی اگه یه آزمایشگاه از این آستانه رد بشه، فاصله‌ش با بقیه خیلی سریع زیاد می‌شه، نه کم‌کم. به این حالت «انفجار هوش» هم می‌گن.

ایدهٔ «ذوب کردن GPUهای بقیه» از مفهوم pivotal act میاد که الیزر یودکوفسکی، پژوهشگر ایمنی AI، مطرحش کرده. یعنی یه AI قدرتمند و امن یه کار قاطع و برگشت‌ناپذیر انجام بده تا کس دیگه‌ای نتونه AI ناامن بسازه. مثال معروفش هم از کار انداختن GPUها در کل دنیاست، چون تقریباً همهٔ آموزش و اجرای مدل‌ها روی همین چیپ‌ها انجام می‌شه. آلتمن طبق گزارش این گزینه رو «وحشتناک» دونسته و گفته فقط برای کامل بودن فهرست بهش اشاره کرده.

نویسنده می‌گه منتقدها چندتا ایراد جدی دارن. اول اینکه کی تصمیم می‌گیره کدوم آزمایشگاه «آدم خوب» ماجراست؟ هر شرکت و کشوری خودش رو مسئول می‌دونه و بعد از جمع شدن قدرت، دیگه داور یا رقابتی وجود نداره. دیوید شاپیرو هم دربارهٔ طرح ادغام (که بهش «طرح دمیس» می‌گن، به اسم دمیس هسابیس از Google DeepMind) گفته این ماجرا شبیه مسئلهٔ Byzantine Generals هست، یعنی هماهنگ کردن اعتماد بین طرف‌هایی که ممکنه دروغ بگن و نمی‌شه نیتشون رو چک کرد.

یه انتقاد کلی‌تر از طرف طرفدارای شتاب‌گرایی اینه که هر سه گزینه به یه singleton ختم می‌شن، یعنی یه مرجع واحد که بالای همه‌چی نشسته و هیچ قدرتی نمی‌تونه کنترلش کنه. ناظر جهانی یه نهاد قانون‌گذار می‌سازه، ادغام یه سازمان تحقیقاتی غالب، و گزینهٔ سوم یه شرکت غالب. به نظر این منتقدها، دنیایی با کلی AI و سازندهٔ رقیب که هیچ‌کدوم غالب نیستن هم یه آیندهٔ معقول و شاید امن‌تره.

گزینهٔ ناظر بین‌المللی همونیه که آلتمن جاهای دیگه هم ازش حمایت کرده، از جمله تو صحبت با شورای امنیت سازمان ملل. این مدل رقابت رو نگه می‌داره، ولی لازمه‌ش اینه که کشورهایی مثل آمریکا و چین به نظارت متقابل رضایت بدن. نویسنده یادآوری می‌کنه که عدم اشاعهٔ هسته‌ای چند دهه طول کشید و هنوز هم همه‌گیر نیست. فعلاً هیچ شرکتی هم به چیزی شبیه recursive self-improvement نرسیده.

نکات کلیدی:

• منبع خبر گزارش The Information از حرفای داخلی آلتمنه، نه موضع رسمی OpenAI.
• سه گزینه: نهاد شبیه IAEA، ادغام آزمایشگاه‌ها («طرح دمیس»)، و برتری یه شرکت با recursive self-improvement («طرح الیزر»).
• آلتمن گزینهٔ از کار انداختن GPUهای رقبا رو «وحشتناک» خونده.
• مفهوم pivotal act از نوشته‌های الیزر یودکوفسکیه.
• انتقاد اصلی: هر سه مسیر به یه singleton یعنی یه مرکز کنترل واحد می‌رسن.
• این خبر هم‌زمان شد با راه‌اندازی اولین ساختار نظارتی دولت آمریکا برای «توسعه‌دهنده‌های superintelligence».