‏پیشرفت پیش‌آموزش هوش مصنوعی بیشتر مال داده‌هاست، نه مدل

دوارکش پتل و جری هان تو یه پژوهش جدید بررسی کردن که از سال ۲۰۱۹ تا ۲۰۲۵، پیشرفت پیش‌آموزش (pretraining، یعنی مرحله‌ی اول آموزش یه مدل زبانی روی حجم عظیمی از متن قبل از هر تنظیم دیگه‌ای) چقدرش مال بهتر شدن داده‌ها بوده و چقدرش مال بهتر شدن خود معماری و روش‌های آموزش مدل. برای هر سال، یه دستور پخت مدل که نوآوری‌های شناخته‌شده‌ی همون سال رو داشت (مثل تغییرات معماری، بهینه‌ساز، مقداردهی اولیه) رو با یه مجموعه‌داده‌ی عمومی همون سال ترکیب کردن و رو بودجه‌های محاسباتی مختلف تا ۱۰ به توان ۱۹ FLOPs آموزش دادن.

چون نمیشه مدل‌هایی که رو داده‌های متفاوت آموزش دیدن رو با loss مقایسه کرد، از بنچمارک OLMES (که ۱۰ تا آزمون چندگزینه‌ای نسبتا ساده رو با هم ترکیب می‌کنه) برای سنجش استفاده کردن. نتیجه‌ی اصلی اینه که رو بودجه‌ی ۱۰ به توان ۱۹ FLOPs، بهبود داده‌ها ۱۲ برابر کارایی محاسباتی اضافه کرده ولی بهبود مدل فقط ۳.۷ برابر، یعنی داده حدود ۳.۲۴ برابر بیشتر از خود مدل تو این پیشرفت نقش داشته. جالب اینه که این دو تا اثر تقریبا مستقل از هم عمل می‌کنن؛ یه رگرسیون خطی ساده ۸۸٪ از تغییرات امتیاز OLMES رو فقط با جمع کردن اثر مدل و اثر داده توضیح میده.

تو این شش سال، سمت مدل از GPT-2 به OLMo-2 رسید، با نوآوری‌هایی مثل بهینه‌سازهای بهتر، RoPE به‌جای جایگذاری موقعیت مطلق، RMSNorm و SwiGLU، و مقداردهی اولیه‌ی تمیزتر. سمت داده هم از OpenWebText در ۲۰۱۹ (فقط صفحات وبی که تو ردیت لینک شده بودن، حدود ۹ میلیارد توکن) به مجموعه‌داده‌هایی مثل UltraFineWeb تو ۲۰۲۵ رسید که هم با خزیدن کل اینترنت خیلی بزرگ‌تر شدن و هم با فیلترهای پیچیده‌تر (مثل آموزش یه کلاسیفایر برای تشخیص اینکه کدوم داده واقعا عملکرد مدل رو بهتر می‌کنه) تمیزتر شدن.

نویسنده‌ها میگن برداشت ساده‌لوحانه از این نتیجه اینه که بگیم بیشتر پیشرفت هوش مصنوعی تو این دوره فقط مال مهندسی داده بوده و کار رو معماری مهم نبوده، ولی این برداشت اشتباهه. به گفته‌شون ارزش اصلی بهبودهای مدل این نبوده که محاسبات رو کاراتر کنه، بلکه این بوده که اصلا امکان استفاده از حجم بیشتر محاسبات رو فراهم کنه؛ چون با بزرگ‌تر شدن مدل و طول کانتکست و مدت آموزش، خیلی چیزا (مثل انفجار یا محو شدن گرادیان، کمبود حافظه و پهنای باند، کند شدن بیش‌ازحد آموزش) خراب میشه. نوآوری‌هایی مثل MoE، انواع attention تُنُک (sparse)، و بهینه‌سازی‌های سطح کرنل مثل FlashAttention بیشتر تو همین دسته‌ی برداشتن محدودیت‌های مقیاس‌پذیری جا می‌گیرن تا افزایش خام کارایی.

یه نکته‌ی جالب دیگه اینه که بهبود کیفیت داده برای مدل‌های کوچیک خیلی بیشتر از مدل‌های بزرگ اثر داره، چون مدل کوچیک ظرفیت کافی نداره و باید خیلی مراقب بود چی بهش می‌دی؛ ولی مدل بزرگ ظرفیت اضافه‌ی زیادی داره و میشه حتی داده‌ی نسبتا بی‌کیفیت رو هم بهش داد تا گرادیان کاهشی خودش سیگنال رو از نویز جدا کنه. فیلتر کردن خیلی سخت‌گیرانه یعنی مجبوری داده‌ی کمتر رو چندین دور تکرار کنی که طبق شواهد تجربی از یه مجموعه‌داده‌ی بزرگ‌تر با کیفیت پایین‌تر ضعیف‌تر عمل می‌کنه؛ این موضوع وقتی مهم‌تر میشه که مدل‌های پیشرو الان تا ۱۰۰ برابر بیشتر از نقطه‌ی بهینه‌ی Chinchilla آموزش می‌بینن تا هزینه‌ی استنتاج تو RL و دیپلوی کمتر بشه.

نویسنده‌ها این وضعیت رو به تفاوت قایق بادی و کشتی کانتینری تشبیه می‌کنن: کشتی کانتینری لزوما سریع‌تر نیست ولی می‌تونه هزاران تن بار (یعنی صدها تریلیون توکن داده) رو حمل کنه و تو آب متلاطم هم واژگون نمیشه، برخلاف قایق بادی کوچیک سال ۲۰۱۹ که باید خیلی مراقب بار روش می‌بودی. سوال باز اینه که آیا داریم بار (داده‌ی باکیفیت) تموم می‌کنیم، و اینکه داده‌ی مصنوعی چقدر می‌تونه این دیوار رو دور بزنه؛ نویسنده‌ها میگن این سوالو بررسی نکردن ولی مهم‌ترین سوال باقی‌مونده‌ست. عدد نهایی این پژوهش (۱.۵۷ برابر بهبود سالانه) هم به‌طرز قابل‌توجهی کمتر از تخمین قبلی Anson Ho و همکاراش (حدود ۳ برابر در سال) بوده، که به گفته‌ی نویسنده‌ها می‌تونه به‌خاطر مقیاس کوچیک آزمایش‌ها یا نادیده گرفتن بهینه‌سازی‌های سمت استنتاج مثل GQA باشه.

نکات کلیدی:

• از ۲۰۱۹ تا ۲۰۲۵، بهبود داده‌ها ۱۲ برابر و بهبود مدل ۳.۷ برابر کارایی محاسباتی پیش‌آموزش اضافه کرده؛ یعنی داده حدود ۳.۲۴ برابر بیشتر نقش داشته.
• اثر داده و مدل تقریبا مستقلن؛ ۸۸٪ از تغییرات امتیاز OLMES فقط با جمع اثر این دو تا توضیح داده میشه.
• سمت مدل از GPT-2 به OLMo-2 رسیده، سمت داده از OpenWebText (۹ میلیارد توکن) به UltraFineWeb.
• نویسنده‌ها میگن ارزش اصلی بهبود مدل، فراهم کردن امکان استفاده از محاسبات بیشتر بوده، نه فقط کارایی خام.
• داده‌ی باکیفیت برای مدل‌های کوچیک مهم‌تره؛ مدل‌های بزرگ چون تا ۱۰۰ برابر بیشتر از نقطه‌ی Chinchilla آموزش می‌بینن، از داده‌ی بیشتر و کم‌فیلترتر بهتر نتیجه می‌گیرن.
• عدد بهبود سالانه‌ی این پژوهش (۱.۵۷ برابر) به‌طرز قابل‌توجهی کمتر از تخمین قبلی حدود ۳ برابره.