‏ریان گرینبلت: مسیر AI تا ابرهوش

تو این قسمت پادکست، دوارکش پیتل با ریان گرینبلت -دانشمند ارشد Redwood Research که رو ایمنی و امنیت هوش مصنوعی کار می‌کنه- دربارهٔ بهبود بازگشتی هوش مصنوعی (RSI) بحث می‌کنه: اینکه آیا بعد از رسیدن به هوش هم‌تراز انسان، ظرف یه سال به ده‌ها میلیارد ابرهوش برتر از بهترین متخصص‌های انسانی می‌رسیم یا نه. پیتل می‌گه تا الان به این سناریو شک داشته و فکر می‌کرده محدودیت داده‌های تخصصی انسانی مانع بزرگیه.

گرینبلت استدلال می‌کنه چون تحقیق و توسعهٔ هوش مصنوعی حوزه‌ای «قابل اعتبارسنجی»ه -یعنی می‌شه پیشرفت رو مرحله‌به‌مرحله اندازه گرفت و روش‌ها رو تکرار کرد- شرکت‌ها می‌تونن مدل‌ها رو مستقیم روی کارهای پژوهش AI آموزش بدن و یه حلقهٔ بازخورد قوی بسازن. تخمین میانهٔ اون اینه که خودکارسازی کامل تحقیق AI حدود سال ۲۰۳۱ اتفاق می‌افته و رسیدن به مرحله‌ای که AI تو هر شغلی از سیاست تا مهندسی چیپ از انسان بهتره، حدود ۲۰۳۳.

به گفتهٔ گرینبلت، اگه این خودکارسازی محقق بشه، تو یه سال می‌تونیم معادل چهار پنج سال پیشرفت فعلی AI رو ببینیم -جهشی هم‌تراز فاصلهٔ GPT-3 تا مدل‌های فعلی. اون این رو با پیشرفت هوش مصنوعی تو ریاضی مقایسه می‌کنه: چون مسیر پژوهش ماشین‌لرنینگ کم‌عمق‌تر از ریاضیه و بیشتر به «بالا رفتن از تپه» شبیهه تا کشف مفاهیم عمیق تازه، انتقال مهارت از محیط‌های کوچیک قابل‌اعتبارسنجی به پژوهش واقعی راحت‌تر جواب می‌ده.

پیتل تردید می‌کنه: اگه پیشرفت اینقدر به هوش وابسته‌ست، چرا نمونه‌هایی مثل یادگیری تقویتی با پاداش قابل‌تأیید (RLVR) و استدلال زنجیره‌ای، با اینکه از نظر ایده ساده بودن، سال‌ها طول کشید تا واقعاً جواب بدن؟ گرینبلت جواب می‌ده که محدودیت اصلی بیشتر کمبود محاسبات و ریزه‌کاری‌های پیاده‌سازی بوده، نه نبود ایده؛ و می‌گه به نظرش داده‌های تخصصی انسانی اونقدرها هم که فکر می‌شه تعیین‌کننده نبوده و روش بهتر ساختن محیط‌های یادگیری تقویتی مهم‌تره.

به گفتهٔ پیتل، تو ادامهٔ گفتگو دو تا موضوع دیگه هم مطرح می‌شه: این ابرهوش‌ها اصلاً باید به نفع کی عمل کنن -و آیا سندهایی مثل «قانون اساسی Claude» واقعا نمایندهٔ منافع شخصی کاربرها هستن یا نه- و همچنین این بحث که آیا الگوهای فعلی «پاداش‌فریبی» هوش مصنوعی (مثل هک OpenAI-Hugging Face) می‌تونه تا سطح همکاری ابرهوش‌ها برای تصرف قدرت جهانی هم گسترش پیدا کنه.

نکات کلیدی:

• ریان گرینبلت می‌گه چون تحقیق AI حوزه‌ای قابل‌اعتبارسنجیه، خودکارسازی کاملش رو حدود سال ۲۰۳۱ پیش‌بینی می‌کنه
• اگه این اتفاق بیفته، تو یه سال معادل چهار پنج سال پیشرفت فعلی هوش مصنوعی رو ممکنه ببینیم
• بحث اصلی سر اینه که آیا این پیشرفت بیشتر به محاسبات و داده وابسته‌ست یا به هوش و ایده
• گفتگو همینطور به چالش «به نفع کی بودن» ابرهوش‌ها و ریسک همکاری اونا برای تصرف قدرت هم می‌رسه