‏فیلتر کردن داده برای آموزش مدل‌های بزرگ؟ شاید اشتباه باشه

یه باور رایج در دنیای هوش مصنوعی اینه که برای آموزش مدل‌های زبانی بزرگ (LLM)، باید داده‌های آموزشی رو با دقت فیلتر کرد و فقط محتوای «باکیفیت» رو نگه داشت. اما یه مقاله تازه از محققان استنفورد این فرض رو به چالش می‌کشه.

کریستوفر موهری، جان دوچی و تاتسونوری هاشیموتو در این پژوهش، مجموعه‌ای از آزمایش‌های مقیاس‌بندی (scaling studies) طراحی کردن که روی یه سناریوی خاص تمرکز داره: محاسبات زیاد، داده کم. این همون شرایطیه که امروز خیلی از لبه‌های تحقیقات LLM توش قرار دارن.

نتیجه‌ای که به دست آوردن جالبه: وقتی مدل به اندازه کافی بزرگ باشه و با قدرت محاسباتی کافی آموزش ببینه، نه‌تنها از داده‌های «بی‌کیفیت» آسیب نمی‌بینه، بلکه از اون‌ها بهره هم می‌بره. به عبارت دیگه، داده‌هایی که معمولاً به عنوان نویز یا حواس‌پرتی (distractor) فیلتر می‌شن، در این رژیم می‌تونن به یادگیری کمک کنن.

نویسنده‌ها این یافته رو با اشاره به مفهوم «درس تلخ» (Bitter Lesson) ریچ ساتون مطرح می‌کنن — ایده‌ای که می‌گه در بلندمدت، روش‌های مبتنی بر مقیاس و محاسبات عمومی معمولاً از رویکردهای مبتنی بر دانش دستی انسانی پیشی می‌گیرن. اینجا هم همون اتفاق داره می‌افته: قضاوت انسانی درباره «کیفیت» داده، در برابر قدرت خام محاسبه شکست می‌خوره.

این نتیجه پیامدهای عملی مهمی داره. خط‌الرأس فعلی در ساخت دیتاست‌های آموزشی اینه که باید فیلترهای سختی بزنی، محتوای وب رو پالایش کنی و داده‌های پایین‌دست رو حذف کنی. این مقاله می‌گه شاید این کار نه‌تنها زمان و هزینه اضافه می‌کنه، بلکه عملکرد نهایی مدل رو هم محدود می‌کنه.

نکات کلیدی:

• فیلتر کردن داده برای آموزش LLM‌ها یه فرض رایج بوده، نه یه حقیقت اثبات‌شده
• آزمایش‌های جدید نشون می‌دن مدل‌های بزرگ با compute کافی از داده «بد» هم یاد می‌گیرن
• در رژیم پرمحاسبه-کم‌داده، بهترین استراتژی احتمالاً حذف فیلتر کردنه
• این نتیجه با «درس تلخ» ساتون همخوانی داره: مقیاس از دانش دستی پیشی می‌گیره
• پیامد عملی: ساخت دیتاست‌های آموزشی ممکنه نیازی به پالایش دقیق نداشته باشه