‏تحقیق انویدیا: on-policy distillation همیشه بهترین راه نیست

تیمی از محقق‌های انویدیا تو یه مقاله‌ی جدید سراغ یه سؤال مهم رفتن: آیا on-policy distillation یا OPD همیشه به درد می‌خوره؟ distillation یعنی انتقال توانایی‌های یه مدل بزرگ (teacher) به یه مدل کوچیک‌تر (student). تو OPD، مدل student حین آموزش مدام خودش متن تولید می‌کنه و teacher روی همون خروجی‌های تازه بهش بازخورد می‌ده. این روش این اواخر خیلی محبوب شده.

نویسنده‌ها یه جایگزین ساده‌تر به اسم Semi-OPD پیشنهاد می‌دن. اینجا student فقط یه بار، اول کار، خروجی تولید می‌کنه (اصطلاحاً offline rollout) و آموزش روی همون خروجی‌های ثابت انجام می‌شه. یعنی دیگه لازم نیست وسط آموزش مدام از student نمونه بگیری، و همین کلی هزینه‌ی محاسباتی رو کم می‌کنه.

نتیجه‌ها جالبه. تو ۱۷ جفت teacher و student با اندازه‌هایی از ۱.۵ میلیارد تا ۲۳۵ میلیارد پارامتر، Semi-OPD تو ۱۴ مورد از OPD بهتر بود. بیشترین اختلاف دقت ۱۳.۶ درصد بود و سرعت آموزش تا ۱۱.۴ برابر بیشتر شد.

به گفته‌ی مقاله، انتخاب بین این دو روش به این بستگی داره که teacher و student از اول چقدر شبیه هم فکر می‌کنن. این شباهت رو با معیاری به اسم output-token overlap ratio اندازه می‌گیرن، یعنی چقدر توکن‌هایی که دو مدل ترجیح می‌دن با هم یکیه. OPD فقط وقتی به‌صرفه‌ست که این همپوشانی خیلی بالا باشه.

محقق‌ها معتقدن distillation خوب باید هم نسبت به student و هم نسبت به teacher «on-policy» باشه. وقتی دو مدل با هم جور نیستن، هرچی متن student طولانی‌تر می‌شه، از چیزی که teacher انتظار داره دورتر می‌شه و سیگنال آموزش ضعیف می‌شه. Semi-OPD روی context‌های کوتاه‌تر کار می‌کنه ولی کل مسیر جواب رو پوشش می‌ده، برای همین پایدارتره و student توکن‌های مورد علاقه‌ی teacher رو بیشتر می‌بینه. نویسنده‌ها از جامعه‌ی تحقیقاتی می‌خوان دوباره فکر کنن که کِی واقعاً باید سراغ OPD رفت.

نکات کلیدی:

• Semi-OPD تو ۱۴ مورد از ۱۷ جفت مدل از OPD بهتر عمل کرد
• بیشترین بهبود دقت ۱۳.۶ درصد و بیشترین افزایش سرعت آموزش ۱۱.۴ برابر بود
• مدل‌های آزمایش‌شده از ۱.۵B تا ۲۳۵B پارامتر بودن
• OPD فقط وقتی به درد می‌خوره که output-token overlap ratio بین teacher و student بالا باشه
• تو جفت‌های ناهماهنگ، با طولانی‌تر شدن context سیگنال distillation ضعیف می‌شه