‏داده، خندق واقعی هوش مصنوعی نیست؟

تو تازه‌ترین شمارهٔ MBI Deep Dives نویسنده سراغ یه سؤال قدیمی رفته: آیا داده همون خندق (moat، یعنی مزیت رقابتی‌ای که رقیب نمی‌تونه راحت ازش رد شه) واقعی شرکت‌های هوش مصنوعیه؟ خودش قبلاً روی اهمیت داده تأکید کرده بود و ورود Alphabet به مزایدهٔ ورشکستگی Spirit Airlines برای دادهٔ اون رو هم شاهد همین ماجرا می‌دونه، ولی می‌گه دو محتوای تازه نظرش رو یه‌کم عوض کرده.

اولی گفت‌وگوی Dwarkesh Patel با Ryan Greenblatt، دانشمند ارشد Redwood Research هست. گرین‌بلت یه آزمایش فکری مطرح می‌کنه: اگه محاسبات یا داده رو ثابت نگه داری، مدل بازم چقدر بهتر می‌شه؟ همون دلتا رو می‌شه پیشرفت الگوریتمی نامید. به گفتهٔ اون اگه امروز با همون بودجهٔ محاسباتی GPT-3 مدل آموزش بدی، چیزی کمی بهتر از GPT-4 در میاد؛ یعنی حدود سه سال جهش، فقط از مسیر الگوریتم.

گرین‌بلت به نقش «دادهٔ متخصص انسانی» چندان باور نداره. می‌گه بیشتر بهبود دیتاست‌های پیش‌آموزش از دو چیز میاد: علمِ فهمیدن اینکه چه داده‌ای خوبه، و کار پرزحمت فیلتر کردن. جهش از OpenWebText به FineWeb رو نمونه می‌آره: یه بهبود الگوریتمیه که با چند تا GPU می‌شه روش تحقیق کرد. اثر «اینترنت پرمحتواتر ۲۰۲۶» هم به نظرش خیلی کوچیک‌تر از اثر بهتر جمع‌آوری و پردازش کردن داده‌ست.

دومی سخنرانی Shuchao Bi هست، از هم‌بنیان‌گذارهای YouTube Shorts که post-training چندوجهی OpenAI رو می‌چرخوند و الان تو Meta Superintelligence Labs کار می‌کنه. بی می‌گه دادهٔ خام احتمالاً بهترین توزیع داده نیست و بهبود بعدی از تغییر توزیع یا به قول خودش «یکسان‌سازی هوش به‌ازای هر توکن» میاد. به گفتهٔ اون یادگیری از تعامل با محیط هرجا شبیه‌ساز دقیق باشه (کدنویسی، ریاضی) خوب جواب می‌ده و جایی مثل زیست‌شناسی یا فیزیک تجربی عملاً بسته‌ست.

یه نکتهٔ جالب دیگهٔ گرین‌بلت اینه که ML نسبت به ریاضی یه حوزهٔ کم‌عمقه: تو ریاضی باید یه انتزاع عمیق و سخت رو بفهمی تا جلو بری، ولی تو ML خیلی چیزها با hill climbing (یعنی بهبود قدم‌به‌قدم و آزمون‌وخطا) پیش می‌ره. یعنی خودکار کردن پژوهش AI اون‌قدرها هم دور از ذهن نیست. نویسنده در پایان می‌گه هرچی بیشتر این فضا رو مطالعه می‌کنه، مطمئن‌تر می‌شه که باید هر نظری دربارهٔ AI رو خیلی شل نگه داشت.

نکات کلیدی:

• به گفتهٔ گرین‌بلت، مدلی که امروز با محاسبات GPT-3 آموزش ببینه کمی بهتر از GPT-4 در میاد.
• جهش OpenWebText به FineWeb نمونهٔ بهبود الگوریتمی دادهٔ پیش‌آموزشه، نه محصول دادهٔ متخصص انسانی.
• بی: دادهٔ خام بهترین توزیع نیست؛ بهبود از «یکسان‌سازی هوش به‌ازای هر توکن» میاد.
• یادگیری از محیط فقط جایی کارآمده که شبیه‌ساز دقیق وجود داشته باشه؛ زیست‌شناسی و فیزیک تجربی بیرون از این دایره‌ان.
• مغز انسان با ۱۵ تا ۲۰ وات کار می‌کنه، در برابر یه ساختمون پر از GPU برای مدل‌های امروزی.