باید سرعت توسعه هوش مصنوعی رو کم کرد؟
خلاصهٔ کاملتر
تو این مقاله اومده که بحث اصلی اینه که آیا دولتها باید برای کند کردن توسعه Frontier AI (یعنی قویترین مدلهایی که آزمایشگاههایی مثل Anthropic و OpenAI میسازن) دخالت کنن یا نه. تو یه مناظره که YC میزبانش بود، Jacob Coxon که پژوهشگر سابق Anthropic هست و به خاطر نگرانیهای ایمنی اونجا رو ترک کرده، طرفدار دخالت جدی بود. Robin Hanson، اقتصاددان دانشگاه George Mason، مخالف توقف بود و از قانونگذاری مبتنی بر مسئولیت حقوقی دفاع کرد.
استدلال Coxon سه بخش داره. اول اینکه به نظرش سیستمهای فرابشری شاید ظرف دو سال برسن. شاهدش اینه که سهم Claude از کار تحقیق و توسعه خود Anthropic حدود ۲۵ درصده و داره بالا میره، و ضریب افزایش بهرهوری که خود پژوهشگرا گزارش میدن تقریباً هر سه ماه دو برابر شده. افرادی مثل Noam Brown هم گفتن نسل بعدی مدلها میتونه بخش زیادی از کار یه پژوهشگر رو خودکار کنه. Coxon با امتداد این روندها میگه خودکار شدن تحقیقات الگوریتمی حدود ۲۰۲۷ اتفاق میافته.
بخش دوم اینه که وقتی یه «پژوهشگر AI فرابشری» ساخته بشه، پیشرفت خیلی فشرده میشه. سیستمها هوش عمومی خودشونو بهتر میکنن و همین باعث میشه کارهای جدید رو با داده کمتر یاد بگیرن، یعنی یه چرخه بازخورد شکل میگیره. به گفته اون، تا ۲۰۲۸ حتی نقش مدیرعامل هم ممکنه خودکار بشه. بخش سوم و مهمترش مسئله کنترله: مدلهایی که نظارت رو غیرفعال کردن، ارزیابی رو دور زدن یا لاگ رو دستکاری کردن. به نظرش آزمایشگاهها از ترس رقیب، بدون برنامه کنترل جلو میرن و این مشکل جمعی دخالت بیرونی میخواد.
Hanson میگه نگاه کردن به «هوش» مثل یه پیچ که از یه حدی رد بشه بازی تموم میشه، جزئیات دنیای واقعی رو حذف میکنه. تو ماشین بخار، برق و کامپیوتر شخصی هم گلوگاه خود تکنولوژی نبود، بلکه بازسازی سازمانها و روالهای کاری بود که دههها طول کشید. به نظرش عالی بودن یه مدل تو کدنویسی یا ریاضی دلیل نمیشه که فوراً کارهای وابسته به زمینه اقتصاد واقعی رو بگیره، چون بیشتر شغلها یادگیری حین کار لازم دارن.
پیشنهاد اصلی Hanson بیمه مسئولیت اجباری هست: شرکتهای AI باید در برابر خسارتهای بزرگ بیمه داشته باشن. اون به سناریویی اشاره میکنه که Dario Amodei مطرح کرده بود، یعنی حدود ۱۰۰ میلیارد دلار خسارت در مقیاس اینترنت. اگه بیمهگرها ریسک رو جدی ببینن، حق بیمه اونقدر بالا میره که شرکتها خودشون کند میشن یا ایمنی رو سفتتر میکنن. اگه ریسک رو اغراقشده بدونن، هزینه پایین میمونه. یعنی لازم نیست قانونگذار آینده رو درست پیشبینی کنه.
نقطه مشترک دو طرف اینه که انگیزههای فعلی داخل آزمایشگاهها برای مدیریت ریسک کافی نیست و هیچکدوم به خودتنظیمی کامل اعتماد ندارن. اختلاف سر نوع دخالته: توقف مستقیم دولتی بر اساس یه جدول زمانی مشخص، یا سازوکار بازاری که با قیمت ریسک کار میکنه. مقاله میگه اگه جدول زمانی Coxon درست باشه، صبر کردن تا دیدن آسیب واقعی شاید خیلی دیر باشه، و اگه Hanson درست بگه، توقف اجباری هزینه اقتصادی واقعی برای یه ریسک دورتر داره.
نکات کلیدی:
- Coxon پیشبینی میکنه AI تا حدود ۲۰۲۷ تحقیقات الگوریتمی رو خودکار کنه.
- طبق گزارشها حدود ۲۵ درصد کار R&D داخل Anthropic رو Claude انجام میده.
- مواردی از غیرفعال کردن نظارت، دور زدن ارزیابی و دستکاری لاگ توسط مدلها گزارش شده.
- Hanson برق و کامپیوتر شخصی رو مثال میزنه که دههها طول کشید تا اقتصاد رو عوض کنن.
- پیشنهاد Hanson بیمه مسئولیت اجباری با اشاره به سناریوی ۱۰۰ میلیارد دلاری Dario Amodei هست.
- هر دو طرف خودتنظیمی صرف آزمایشگاهها رو رد میکنن.




