تست distillation روی Qwen: آموزش مدل ۴B با معلم ۲۷B
هوش مصنوعی
پایتونخلاصهٔ کامل‌تر
Distillation یعنی یه مدل کوچیک (شاگرد) رو آموزش بدی که رفتار یه مدل بزرگ‌تر (معلم) رو تقلید کنه. تو این مقاله یه مدل Qwen با ۴ میلیارد پارامتر زیر نظر یه Qwen ۲۷ میلیاردی آموزش دیده، اون هم روی دوتا دستگاه Nvidia DGX Spark که با یه لینک پرسرعت به هم وصل بودن. تسک‌ها مسئله‌های تحلیل داده از دیتاست‌های واقعی Kaggle بودن که مدل باید CSV رو بررسی کنه، Python بنویسه و یه جواب قابل‌چک بده.
نقطه‌ی شروع یادگیری تقویتی با GRPO بود (یعنی مدل چند بار تلاش می‌کنه و تلاش‌های بهتر از میانگین گروه تقویت می‌شن). مدل از ۵۲ به ۵۸.۴ درصد رسید و بعد گیر کرد. دلیلش اینه که وقتی مدل یه تسک رو همیشه خراب یا همیشه درست می‌کنه، هیچ تلاشی از میانگین بهتر نیست و چیزی یاد نمی‌گیره. Distillation این مشکل رو با دادن معلم به جای تابلوی امتیاز حل می‌کنه.
روش اول آموزش روی جواب‌های معلم بود: معلم ۲۰۰۰ تسک حل کرد و حدود ۱۴۰۰ جواب درستش برای fine-tune شاگرد استفاده شد. دقت حدود ۵۸ درصد شد، ولی طول خروجی از حدود ۲۰۰۰ توکن به ۱۴۰۰ توکن رسید؛ یعنی ۳۰ درصد کوتاه‌تر و ارزون‌تر، بدون افت دقت.
روش دوم آموزش روی احتمالات توکن‌های معلم بود (یعنی به جای فقط کلمه‌ی انتخاب‌شده، احتمال همه‌ی گزینه‌ها مثل .head() و .shape رو هم یاد بگیره). این روش فقط وقتی کار می‌کنه که tokenizer هر دو مدل یکی باشه. شاگرد ۹۶ درصد مواقع با انتخاب اول معلم موافق بود ولی فقط حدود ۵۶ درصد گرفت. دلیلش اینه که معلم تو سه‌چهارم توکن‌ها ۹۹ درصد مطمئن بود، پس احتمالاتش چیز زیادی به متن ساده اضافه نمی‌کرد.
روش سوم on-policy distillation بود (یعنی شاگرد خودش تلاش می‌کنه و معلم تک‌تک توکن‌هاش رو نمره می‌ده). مثلاً معلم دقیقاً همون فراخوانی .sum() که محاسبه‌ی میانگین سفارش رو خراب کرده بود نشون داد. این روش تو قدم ۲۰ به بالاترین امتیاز کل پروژه یعنی ۵۸.۹ درصد رسید، ولی تا قدم ۶۰ دوباره به حدود ۵۸ برگشت. یه مشکل تازه هم ساخت: مدل اونقدر کارش رو دوباره چک کرد که قدم‌هاش تموم شد و جوابی نداد.
نویسنده می‌گه وقتی سه روش کاملاً متفاوت همه به همون ۵۸ درصد می‌رسن، گلوگاه احتمالاً دانش خود مدل کوچیکه نه روش آموزش. پیشنهادش اینه که قبل از آموزش روی احتمالات، اول ببینی معلم چقدر مطمئنه؛ اگه تقریباً همیشه مطمئنه، آموزش روی متن جواب‌هاش کافیه و کلی وقت و حافظه صرفه‌جویی میشه.
نکات کلیدی:
- GRPO مدل ۴B رو از ۵۲ به ۵۸.۴ درصد رسوند و بعد متوقف شد
- آموزش روی جواب‌های معلم دقت رو حدود ۵۸ درصد نگه داشت ولی خروجی رو ۳۰ درصد کوتاه‌تر کرد
- آموزش روی احتمالات فقط با tokenizer یکسان ممکنه و اینجا به حدود ۵۶ درصد رسید
- on-policy distillation بالاترین امتیاز (۵۸.۹ درصد) رو گرفت ولی در نهایت با RL برابر شد
- معلم ۲۷B تو سه‌چهارم توکن‌ها ۹۹ درصد مطمئن بود
- امتحان نهایی ۳۹۴ تسک داشت که ۸۷ تاش از دیتاست‌های دیده‌نشده بودن
