سه پژوهشگر AI: چقدر به خوداصلاحی بازگشتی نزدیکیم؟
هوش مصنوعیClaude Sonnet 5خلاصهٔ کاملتر
تو یه اپیزود جدید از پادکست دووارکش پاتل، سه پژوهشگر شناختهشدهی هوش مصنوعی دور هم جمع شدن: جان شولمن (دانشمند ارشد Thinking Machines و از بنیانگذاران OpenAI که پروژهی RLHF پشت ChatGPT رو رهبری کرده)، برن میلیج (مدیر فنی Zyphra) و چارلی اونیل (مسئول آموزش مدل تو Baseten). سوال شروع بحث این بود: اگه تا سال ۲۰۳۶ به یه ابرهوش تمامعیار نرسیم، دلیل فنیش چی میتونه باشه؟
برن میلیج به یه پارادوکس معروف اشاره میکنه؛ گاهی فکر میکنیم اگه مدل بتونه یه کار سخت مثل حل مسئلهی ریاضی یا شطرنج رو انجام بده، خیلی قدرتمند میشه، ولی وقتی واقعاً انجامش میده، تاثیرش اونقدرا زیاد نیست. جان شولمن هم میگه هر مدل جدید تو بعضی زمینهها به انسان میرسه، ولی بلافاصله تو یه نقطهضعف جدید گیر میکنه؛ یه چرخهی تکراری از «این دیگه AGIـه» تا «بعد یه ماه، دوباره احمق به نظر میرسه».
بخش جالب بحث دربارهی اینه که چرا بازار مدلهای زبانی، با وجود نشونههای تمرکزگرایی، هنوز متمرکز نشده. شولمن میگه distillation (یعنی یاد گرفتن رفتار یه مدل بزرگ توسط یه مدل کوچیکتر از روی خروجیهاش) اصلیترین نیروییه که جلوی تمرکز رو میگیره. به گفتهش، بعضی شرکتهای چینی از سرویسهای واسط (router) که برای دور زدن محدودیت دسترسی به مدلهای آمریکایی ساخته شدن، برای جمعآوری دادهی پرامپت واقعی استفاده میکنن؛ همین باعث نزدیک شدن مدلهایی مثل GLM-5.3 و Kimi K3 به مدلهای آمریکایی شده.
نکتهی محوری که هر سه قبولش دارن اینه که تنگنای اصلی، قدرت خام مدل نیست، بلکه توانایی تعریف درست هدف و سوال تحقیقاتیه. برن میلیج میگه اگه یه حلقهی کاملاً خودکار میخوایم که خودش هدف پیشنهاد بده و هدف بعدی رو بسازه، هنوز مشخص نیست مدلها تو این کار خوب باشن، هرچند تو اجرای یه تجربهی مشخص خیلی قوی عمل میکنن. جان شولمن هم میگه آخرین کاری که انسانها باید انجام بدن، مشخص کردن همون هدفه؛ مثل تعیین رفتار درست دستیار هوش مصنوعی، که فکر نمیکنه به این زودیها خودکار بشه.
نکات کلیدی:
- بحث اصلی حول اینه که آیا تا سال ۲۰۳۶ به خوداصلاحی بازگشتی (RSI) کامل میرسیم یا نه
- هر سه پژوهشگر میگن تنگنای واقعی، تعریف درست سوال و هدف تحقیقاتیه، نه قدرت خام مدل
- Distillation به گفتهی جان شولمن اصلیترین نیروییه که جلوی تمرکز بازار مدلها رو میگیره
- مدلهای چینی مثل GLM-5.3 و Kimi K3 با استفاده از دادهی سرویسهای واسط (router) به مدلهای آمریکایی نزدیک شدن
- شولمن معتقده تعیین هدف و رفتار درست مدل، آخرین شغلیه که به این زودیها خودکار نمیشه
