‏چرا یه ائتلاف عجیب می‌خواد RSI ممنوع بشه

این مقاله دربارهٔ بحث داغ RSI یا recursive self-improvement هست، یعنی وقتی سیستم‌های AI تحقیق و مهندسی نسل بعدی AI رو انجام می‌دن و اون نسل همین کارو بهتر انجام می‌ده و این چرخه ادامه پیدا می‌کنه. یه ائتلاف سیاسی خیلی متنوع می‌خواد کنگرهٔ آمریکا جلوی این فرایند رو بگیره، قبل از اینکه به مرحلهٔ «حلقه‌بسته» برسه، یعنی جایی که دیگه هیچ انسانی کار رو چک نمی‌کنه.

زمینهٔ سیاسیش لایحهٔ Ban Artificial Superintelligence Act از برنی سندرز و گرگ کاساره. این لایحه AI‌ای که از انسان تو بیشتر حوزه‌ها بهتر باشه رو ممنوع می‌کنه، توسعهٔ AI پیشرفته رو تا نوشتن قوانین متوقف می‌کنه و یه وزارتخونهٔ هوش مصنوعی می‌سازه. مجازاتش انحلال شرکت و تا ۲۰ سال زندان برای افراده. بعد از اینکه دموکرات‌ها تو انتخابات میان‌دوره‌ای هر دو مجلس رو بردن و ۵۶ درصد رأی‌دهنده‌ها AI رو عامل مهم دونستن، این بحث جدی‌تر شده.

جرقهٔ اصلی گزارش گروه ارزیابی Meter بود که داخل Anthropic یه مدل داخلی رو بررسی کرد. Meter تخمین زد سرعت توسعهٔ مدل‌های Anthropic حدود ۱.۹ برابر شده (بین ۱.۵ تا ۲.۸) و حدود ۸۰ درصد این شتاب کار خود AI بوده، نه نیروی انسانی بیشتر. یه مدل منتشرنشده هم اولین مدلی بوده که تو همهٔ بنچمارک‌ها از ۵۰ درصد رد شده. Anthropic بخشی از شواهد رو سانسور کرده و منتقدها با توجه به احتمال IPO این شرکت به این موضوع ایراد گرفتن.

مقاله تأکید می‌کنه که سه مفهوم با هم قاطی می‌شن. AGI یعنی AI‌ای که بیشتر کارهای ذهنی انسان رو انجام بده. ابرهوش یعنی AI‌ای که تقریباً تو همه‌چیز خیلی از انسان جلوتره. ولی RSI اصلاً نوع خاصی از AI نیست، یه فرایند هست؛ همون مکانیزمیه که می‌تونه AI رو از سطح AGI به ابرهوش برسونه، اونم سریع‌تر از اینکه کسی بتونه دنبالش کنه.

به گفتهٔ مقاله، ائتلاف حامی ممنوعیت RSI خیلی عجیبه: برنی سندرز، استیو بنن، رالف نیدر، گلن بک، Joshua Bengio و Daniel Kokotajlo نویسندهٔ AI 2027. هیچ‌کدوم نمی‌گن AI باید کامل متوقف بشه. Kokotajlo می‌گه هدف اینه که به AGI برسیم، ازش سود ببریم و بعد تا جایی که می‌شه از رفتن به سمت ابرهوش دوری کنیم. حتی Demis Hassabis از DeepMind که طرفدار پیشرفت AI هست، «RSI حلقه‌بسته» رو پرریسک‌ترین مرحله می‌دونه.

استدلال اصلی اینه: الان مهندس‌ها کد رو بازبینی می‌کنن و تصمیم می‌گیرن چی آموزش ببینه. هدف RSI حذف همین مرحله‌ست چون انسان کندترین بخش چرخه‌ست. بدون بازبینی، خطاها به نسل بعد منتقل می‌شن و شاید بزرگ‌تر هم بشن. در مقابل، ممنوعیت کامل AI یه مشکل ژئوپلیتیک داره: پیشرفت جهانی رو متوقف نمی‌کنه و فقط رهبری رو به جاهایی مثل چین می‌ده. برای همین به گفتهٔ نویسنده، محدودیت هدفمند روی RSI حلقه‌بسته منطقی‌تر از ممنوعیت کامله.

نکات کلیدی:

• RSI یه فرایند هست، نه نوعی از AI؛ مسیریه که AGI رو به ابرهوش می‌رسونه.
• Meter شتاب توسعهٔ Anthropic رو ۱.۹ برابر تخمین زده که حدود ۸۰ درصدش از خود AI بوده.
• تو Anthropic، AI تو بیش از ۹۰ درصد کارهای تحقیقاتی حداقل نقش همکار داره.
• مدل‌های پیشرو حالا می‌تونن وزن‌های شبکه‌های عصبی کوچیک دیگه رو مستقیم ویرایش کنن.
• ممنوعیت کامل AI ممکنه فقط رهبری این حوزه رو به چین بسپره.