‏خوداصلاحی بازگشتی هوش مصنوعی: رویا یا واقعیت ۲۰۳۶؟

سه پژوهشگر شناخته‌شده، برن میلیج (مدیر فنی Zyphra)، جان شولمن (دانشمند ارشد Thinking Machines) و چارلی اونیل (مسئول آموزش مدل در Baseten)، سر این موضوع بحث کردن که آیا هوش مصنوعی می‌تونه وارد چرخه‌ی خوداصلاحی بازگشتی (RSI) بشه؛ یعنی جایی که یه مدل به اندازه‌ی کافی قوی، خودش رو بهبود بده و این چرخه سریع‌تر از تحقیقات انسانی پیش بره. سال ۲۰۳۶ تو این بحث فقط یه نماد برای «بیش از یه دهه‌ی دیگه»ست.

نکته‌ی مرکزی بحث اینه که مانع اصلی این چرخه نه محدودیت سخت‌افزار و مقیاسه، بلکه تعمیم‌پذیریه: مدل‌ها ممکنه تو بنچمارک‌ها و محیط‌های یادگیری تقویتی خیلی خوب بشن، ولی نتونن این مهارت رو به تحقیق باز و واقعی منتقل کنن. الگویی که تکرار می‌شه اینه که هر مدل جدید چند هفته شبیه هوش عمومی به نظر می‌رسه و بعد ضعف‌هاش تو قضاوت و خودارزیابی معلوم می‌شه.

عمیق‌ترین مشکلی که این پژوهشگرها مطرح می‌کنن «تعیین هدف»ه: مدل‌های فعلی تو بهینه‌سازی یه هدف مشخص (مثل کاهش خطا یا افزایش پاداش) خیلی خوبن، ولی تولید هدف درست برای علم باز و اکتشافی یه مهارت کاملا جداست. یه حلقه‌ی پایدار خوداصلاحی نیاز داره که مدل خودش هدف پیشنهاد بده، بهینه‌ش کنه، نتیجه رو ارزیابی کنه و این کارو بدون منحرف شدن ادامه بده.

یه استدلال جالب هم از تشبیه به رتبه‌بندی الو تو شطرنجه: پیشرفت شطرنج ماشین‌ها سال‌ها یکنواخت و آروم بود، ولی از دید انسان این روند یهو از «همیشه انسان برنده می‌شه» به «هیچ‌وقت انسان برنده نمی‌شه» تبدیل شد. یعنی یه روند آروم و خطی می‌تونه وقتی از سطح انسان رد بشه، ناگهانی به نظر برسه، حتی اگه شکل منحنی پیشرفت عوض نشده باشه.

یه استدلال دیگه هم می‌گه الان بخش خیلی کمی از منابع محاسباتی صرف تئوری‌پردازی و طراحی آزمایش می‌شه، در مقایسه با اجرای خود آزمایش؛ اگه هوش مصنوعی بتونه قبل از هر آزمایش گرون، مقدار زیادی روی تئوری و تحلیل وقت بذاره، شاید بشه سرعت پیشرفت رو ده برابر کرد. اما این راه‌حل هنوز مشکل تعیین هدف جدید رو حل نمی‌کنه.

نکات کلیدی:

• بحث بین برن میلیج (Zyphra)، جان شولمن (Thinking Machines) و چارلی اونیل (Baseten) درباره‌ی احتمال خوداصلاحی بازگشتی تا سال ۲۰۳۶
• مانع اصلی از دید هرسه نفر، تعمیم‌پذیری مدل‌هاست، نه قدرت پردازش
• تعیین هدف درست برای تحقیق باز، عمیق‌ترین مشکل حل‌نشده معرفی شده
• تشبیه به الوی شطرنج نشون می‌ده روند آروم می‌تونه ناگهانی به نظر برسه
• محتمل‌ترین مانع غیرفنی، قانون‌گذاری یا یه شوک سیاسیه، نه یه دیوار فنی