خودبهبودی بازگشتی هوش مصنوعی: انفجار هوش واقعاً چه شکلیه؟
خلاصهٔ کاملتر
سال ۱۹۶۵ ریاضیدانی به اسم I.J. Good ایدهی انفجار هوش رو مطرح کرد: ماشینی که از هر انسانی باهوشتر باشه میتونه ماشینهای بهتری طراحی کنه و این چرخه ادامه پیدا میکنه. بعدها Eliezer Yudkowsky اسم این سازوکار رو گذاشت recursive self-improvement یا RSI (یعنی وقتی هوش مصنوعی بهبودهای خودش رو صرف بهتر کردن توانایی بهبود دادن میکنه). تو این مقاله از Cosmos Institute، نویسنده میگه حالا که هوش مصنوعی واقعاً داره به محققهای هوش مصنوعی کمک میکنه، باید دوباره ببینیم این مفهوم چقدر با واقعیت جور درمیاد.
نویسنده RSI رو به سه جزء میشکنه. Recursive: هر بهبود چقدر توان بهبود بعدی رو بالا میبره؟ Self: سیستم کدوم ورودیها رو خودش تأمین میکنه؟ Improvement: بهبودها واقعیان یا فقط رو بنچمارک خوب به نظر میان؟ برای جزء سوم به ایدهی «Goodhart Singularity» اشاره میکنه، یعنی مدلی که فقط برای نمرهی ارزیابی بهینه میشه ولی واقعاً باهوشتر نمیشه. مثال نانوایی هم میزنه: دستور پخت بهتر فروش رو بیشتر میکنه ولی کمکی به پیدا کردن دستور بعدی نمیکنه، پس بازگشتی نیست.
حرف اصلی مقاله اینه که تو deep learning دیگه «خود» یه مدل تکی نیست. تو شبکهی عصبی، دانش مدل و روش استدلالش همه تو همون وزنها ذخیره شدن و با آموزش به دست میان، پس مرز تمیزی که Yudkowsky بین «الگوریتم» و «دانش» میکشید از بین میره. به گفتهی نویسنده، واحد درست تحلیل یه سیستم توسعهی هوش مصنوعیـه که مدلهای پشتسرهم رو آموزش میده. این سیستم هنوز به اقتصاد بیرونی، مخصوصاً سختافزار، وابستهست.
بازخورد از دو کانال اصلی رد میشه: پیشرفت الگوریتمی و سرمایهگذاری روی سختافزار، که هر کدوم بازده اون یکی رو بالا میبرن. نویسنده میگه پیشبینیهای قبلی هر کدوم یکی از این دو رو جا انداختن. مثلاً گزارش Biological Anchors از Ajeya Cotra بهبود کارایی الگوریتمی رو حدود ۱.۳ برابر در سال فرض کرده بود، در حالی که برآوردهای بعدی حدود ۳ برابر بودن. نتیجهش رشد سالانهی ۳.۶ برابری effective compute پیشبینی شد، ولی رقم واقعی حدود ۱۰.۷ برابر برآورد شده.
به نظر نویسنده، هیچ آستانهای نیست که RSI یهو «روشن» بشه. اگه هوش مصنوعی یکییکی جای محققهای انسانی رو بگیره، سرعت عوض نمیشه؛ شتاب از تعداد بیشتر و توانایی بیشتر محققهای خودکار میاد. پس بهتره بهجای «RSI کی شروع میشه» بگیم شتاب توسعهی هوش مصنوعی که همین الان در جریانه. یه نکتهی جالب هم داره: سرعتی که ده برابر بشه ولی دیگه بیشتر نشه هم میتونه یه قرن پیشرفت رو تو یه دهه فشرده کنه، پس سریع بودن لزوماً به جهش ناگهانی (همون FOOM) نیاز نداره.
آخر مقاله سراغ شرط Good میره: اینکه ماشین اونقدر رام باشه که بگه چطور کنترلش کنیم. نویسنده معتقده چون این روند از دل آموزش مدلهای پشتسرهم و زنجیرهی تأمین سختافزار رد میشه، فرصتهای بیشتری برای دیدن هشدارها و دخالت داریم. مثلاً به توقف بخشی از آموزشهای OpenAI بعد از یه حادثهی امنیتی اشاره میکنه. ولی هشدار میده که حتی یه ماشین کاملاً رام هم میتونه قدرت عظیمی به یه گروه خاص بده، پس سوال اینه که «ما» تو جملهی Good دقیقاً کی هستیم.
نکات کلیدی:
- ایدهی انفجار هوش رو I.J. Good سال ۱۹۶۵ مطرح کرد و Yudkowsky اسمش رو RSI گذاشت.
- تو deep learning واحد بهبود یه سیستم توسعهست که مدلهای پشتسرهم رو آموزش میده، نه یه مدل که خودش رو بازنویسی کنه.
- دو کانال اصلی بازخورد پیشرفت الگوریتمی و سرمایهگذاری سختافزاری هستن که همدیگه رو تقویت میکنن.
- رشد effective compute حدود ۱۰.۷ برابر در سال برآورد شده، در برابر پیشبینی ۳.۶ برابری Biological Anchors.
- نویسنده میگه RSI لحظهی شروع مشخص نداره و بهتره ازش با عنوان شتاب توسعهی هوش مصنوعی یاد کنیم.




