چرا ایجنتهای تحقیقاتی ML بیشبرازش نمیکنن؟
هوش مصنوعیClaude Sonnet 5خلاصهٔ کاملتر
دانشمندای ماشینلرنینگ سالهاست رو یه سری بنچمارک (benchmark یعنی دیتاست ثابتی که همه باهاش مدلها رو مقایسه میکنن) مدل میسازن، تستش میکنن، بهش دست میزنن و دوباره تستش میکنن. طبق تئوری کلاسیک آمار، این کار باید بعد از یه مدت باعث overfit بشه، یعنی مدلها رو بنچمارک خوب جواب بدن ولی رو دادهی واقعی و جدید بد عمل کنن. ولی این اتفاق نمیافته و پیشرفتها معمولا رو دادهی تازه هم تکرار میشن. مارتین برتران لوپز و آرون رات، محققای آمازون، تو یه مقالهی تازه یه توضیح دقیق براش پیدا کردن.
ایدهشون از قانون اوکام میاد: اگه یه استراتژی رو بشه با چند بیت توضیح داد، جا نداره که دیتای تست رو حفظ کرده باشه، پس هر چی خوب کار کنه واقعا یه ساختار واقعی یاد گرفته. برای تستش، یه ایجنت به اسم explorer آزادانه رو یه دیتاست validation صدها بار امتحان میکنه، و یه ایجنت دیگه به اسم compressor کل روند کارشو تو یه پرامپت خیلی کوتاه خلاصه میکنه.
این پرامپت رو میدن به یه ایجنت تازه به اسم reproducer که هیچ خاطرهای نداره و باید فقط با همون چند کلمه، از صفر همون نتیجه رو بسازه؛ درست مثل فیلم Memento که یادداشت کوتاهی برای نسخهی فراموشکار خودت میذاری.
نتیجه جالب بود: رو ۸ تا دیتاست مختلف، پرامپتهای ۳۲ توکنی کافی بودن که reproducer به همون نتیجهی explorer برسه. یکی از استراتژیها حتی تو ۱۶ توکن هم جا شد، مثلا این پرامپت:
QKn 12L768 Mu .1 R² b2M 4x
که برای یه ایجنت دیگه یعنی نوع نرمالسازی، تعداد لایهها، optimizer، و اندازهی batch. وقتی همین پرامپت رو به ۸ توکن کوتاهتر کردن، دیگه reproducer نتونست به همون نتیجه برسه؛ یعنی اون چند توکن اضافه واقعا اطلاعات مهمی از دیتا حمل میکردن.
برای اینکه مطمئن بشن این تئوری درسته، محققا عمدا چندتا ایجنت رو مجبور کردن که بیشبرازش کنن؛ یعنی مستقیم به دیتای validation دسترسی دادن بهشون و فقط خواستن امتیازشون رو تا جای ممکن بالا ببرن. تو ۳۸ مورد از ۱۰۲ آزمایش، دقت مدل رو دیتای validation بیش از ۱۰ درصد بهتر از دقت واقعیاش (رو دیتای هولدآوت) از آب در اومد. اما وقتی این استراتژیهای تقلبی رو از فیلتر فشردهسازی رد کردن، برتریشون کاملا از بین رفت؛ یعنی همین فشردهسازی میتونه تقلب رو هم لو بده.
نویسندهها میگن این نتیجه فقط رو ایجنتهای هوش مصنوعی تست شده، چون فقط اونجا میشه آزمایش رو کنترلشده انجام داد؛ ولی به نظرشون همین منطق میتونه توضیح بده چرا کل جامعهی تحقیقاتی انسانی هم با وجود سالها رقابت رو یه بنچمارک ثابت، بیشبرازش نمیکنه. یه محدودیت هم هست: این روش فرض میکنه مدل دیتای validation رو تو دورهی آموزشش حفظ نکرده باشه.
نکات کلیدی:
- مقاله «What fits (into few tokens) doesn't overfit» رو آمازون منتشر کرده، نویسندههاش مارتین برتران لوپز و آرون رات هستن.
- رو ۸ دیتاست مختلف (طبقهبندی، مدل زبانی، diffusion و...) پرامپتهای ۱۶ تا ۳۲ توکنی برای بازسازی استراتژی کافی بودن.
- تو ۳۸ از ۱۰۲ آزمایش عمدی overfitting، استراتژیهای تقلبی نتونستن از فیلتر فشردهسازی رد بشن.
- حتی با فیدبک ۱ بیتی (فقط بهتر یا بدتر از رکورد قبلی) بهجای امتیاز کامل، explorer به همون نتیجه رسید.
