استارگیتی برای داده
خلاصهٔ کاملتر
این نوشته یه رشتهتوییت از ویل دپیو، پژوهشگر OpenAI، هست که استدلال میکنه مهمترین تغییرِ پیشِروی اقتصاد هوش مصنوعی، جابهجا شدن گلوگاه از پردازش به دادهست. نویسنده میگه سالها مشکل کمبود GPU بود و دادهی اینترنت انگار بینهایت بود، ولی حالا برعکس شده: پردازش داره بیوقفه بزرگتر میشه ولی به مرز دادهی باکیفیت رسیدیم.
استدلال پایهایش این قانون تجربیه که شبکههای عصبی عمیق وقتی دو چیز رو با هم بزرگ کنی بهتر میشن: اندازهی مدل و مقدار دادهای که روش آموزش میبینه. به گفتهی نویسنده کل پیشرفت هوش مصنوعی مدیون یه «یارانهی یکباره»ست به اسم اینترنت؛ دههها انباشتِ ناخواستهی کتاب و مقاله و ویدیو و بحث که همه دیجیتال و رایگان بودن. مشکل اینه که این منبع داره تموم میشه؛ فقط حدود ۳۰۰ تریلیون توکن متن انسانیِ عمومی و مفید هست و اینترنت اونقدر که مقیاسگذاری میخواد دادهی تازه تولید نمیکنه.
نویسنده اشاره میکنه که یادگیری تقویتی (RL) یه نفس تازه داد، چون به دادهی جدیدی مثل مسائل ریاضی و کدنویسیِ قابلنمرهدهی نیاز داشت که اونهم آنلاین بود؛ ولی به گفتهش داریم از مسائل سختِ RL هم زود خالی میشیم. یه بخش مهم دیگه رو «مادهی تاریک اینترنت» مینامه: دانش ضمنی و فرایندهای مستندنشدهای که هیچوقت منتشر نشدن و فقط تو ذهن آدمها یا داخل سازمانها زندگی میکنن.
پیشبینی مشخصش اینه که تا ۲۰۳۰ خرج داده از ۱۰۰ میلیارد دلار در سال رد میشه. الان کل خرج داده بین فروشندهها حدود ۷ میلیارد دلار در ساله و نویسنده میگه بعید نیست بیش از ۱۰ برابر بشه. آزمایشگاهها یا دادهی خصوصی رو لایسنس میکنن یا از صفر میسازنش، مثل پروژهی اسکن کتابِ Anthropic، و بیشتر و بیشتر به متخصصهای انسانی پول میدن تا دادهی باکیفیت بسازن.
نتیجهای که میگیره اینه که داده به یه «خندق» یا مزیت رقابتی واقعی تبدیل میشه. برخلاف پردازش که کالاست و همه همون تراشهها رو میخرن، داده اینطوری نیست. به نظر نویسنده دلیل اینکه تا الان مدلهای پیشرو شبیه هم بودن اینه که تقریباً روی یه اینترنت آموزش دیده بودن؛ حالا که آزمایشگاهها میرن سراغ مجموعهدادههای اختصاصی و دستیجمعشده، مدلها هم بیشتر از هم فاصله میگیرن. مثال میزنه که جلو افتادن OpenAI تو ریاضی و Anthropic تو امنیت سایبری تصادفی نیست.
نویسنده حتی داده رو یه دارایی راهبردی ملی مثل پردازش میدونه و نگرانه که چین با ظرفیت دولتی بیشتر بتونه جمعآوری داده رو تو مقیاس ملی بسیج کنه. آخر سر هم سؤال اصلیش رو میپرسه: استارگیت بهخاطر بسیج تریلیونها دلار حول پردازش بهوجود اومد؛ حالا معادلِ همون جاهطلبی برای داده چه شکلی میشه؟ و میگه تو پستِ بعدیش پیشنهادهاش رو کامل شرح میده.
نکات کلیدی:
- به گفتهی نویسنده گلوگاه از کمبود پردازش به کمبود داده جابهجا شده
- اینترنت یه یارانهی یکباره بوده و داره ته میکشه؛ حدود ۳۰۰ تریلیون توکن متن عمومی مفید
- پیشبینی: خرج داده تا ۲۰۳۰ از ۱۰۰ میلیارد دلار در سال رد میشه (الان حدود ۷ میلیارد)
- داده برخلاف پردازش کالا نیست و به مزیت رقابتی اصلی آزمایشگاهها تبدیل میشه
- نویسنده داده رو یه دارایی راهبردی ملی میدونه و خواستار یه «استارگیت برای داده»ست




