ساتسکِور: عصر مقیاسدهی داره تموم میشه
هوش مصنوعیClaude Opus 5خلاصهٔ کاملتر
تو این مقاله اومده که ادعای اصلی ایلیا ساتسکِور اینه: مقیاسدهیِ پیشآموزش که پشت GPT-3 و GPT-4 بود، دیگه جای زیادی برای رشد نداره. نه به این خاطر که محاسبات متوقف شده، بلکه چون دادهٔ متنیِ باکیفیتِ ساختهٔ انسان با سرعت سختافزار جلو نمیره. جملهی صریحش تو NeurIPS دسامبر ۲۰۲۴ همینه که عملاً فقط یک اینترنت داریم.
نویسنده تاریخ اخیر هوش مصنوعی رو از زبون ساتسکِور به دو دوره تقسیم میکنه: عصر پژوهشگران از حدود ۲۰۱۲ تا ۲۰۲۰ که معماریها تجربی بودن، و عصر مقیاسدهی از ۲۰۲۰ تا ۲۰۲۵ که فقط نسخهٔ بزرگترِ یک دستورپختِ جوابداده ساخته میشد. به گفتهٔ او تو مصاحبه با دوارکش پاتل در نوامبر ۲۰۲۵، حالا داریم به فاز پژوهشمحور برمیگردیم، منتها این بار پژوهشگرها کامپیوترهای بهمراتب بزرگتری در اختیار دارن.
بزرگترین شکاف فنی از نظر او تعمیمپذیری (generalization) ـه. آدم با چندتا نمونه یه مفهوم رو میگیره و تو موقعیت کاملاً متفاوت به کارش میبره، ولی مدلهای امروزی تو سختترین بنچمارکهای علمی میدرخشن و همزمان سر کارهایی که برای یه آدم بدیهیه گیر میکنن. یعنی خیلی خوب الگو تطبیق میدن، ولی مثل انسان یاد نمیگیرن. برای همین ابرهوش رو نه یک سیستم تمامشده و همهچیزدان، بلکه یه یادگیرندهٔ پیوسته توصیف میکنه که وارد محیط ناآشنا میشه، سریع چیزی که لازم داره رو یاد میگیره و بعد از استقرار هم بهتر میشه.
شرکت او یعنی Safe Superintelligence که سال ۲۰۲۴ بعد از جدا شدنش از OpenAI ساخته شد، تا حالا تقریباً چیزی از مسیر فنیش نگفته بود. حالا طبق گزارشها انویدیا حدود ۵ میلیارد دلار سهام SSI رو خریده و قراره توان محاسباتی این شرکت رو تو یک سال حدود ده برابر کنه. انویدیا میگه قبل از قرارداد به تحقیقات SSI دسترسی داشته، و اعلامیهاش این تحقیقات رو به جنبههای نادیدهگرفتهشدهٔ کارکرد مغز انسان وصل میکنه.
هیچکدوم از اینا ثابت نمیکنه SSI مسئلهٔ تعمیمپذیری رو حل کرده. ولی نویسنده اینو قویترین سیگنال بیرونی تا امروز میدونه که چیزی داخل این شرکت از حالت «هنوز داریم میگردیم» به «یه مسیر ارزشمند برای مقیاسدهی پیدا کردیم» رسیده.
نکات کلیدی:
- تنگنا دیگه سختافزار نیست، دادهٔ باکیفیت انسانیه
- ساتسکِور مقیاسدهی رو بیفایده نمیدونه، فقط میگه برای جهش بعدی کافی نیست
- شکاف اصلی تعمیمپذیریه: یادگیری از چند نمونه و انتقالش به موقعیت جدید
- تصویر او از ابرهوش، یه یادگیرندهٔ پیوستهست نه یه سیستم همهچیزدان
- سرمایهگذاری ۵ میلیارد دلاری انویدیا و ده برابر شدن محاسبات SSI، نشونهٔ رسیدن تحقیق به مرحلهٔ مقیاسدهیه
