‏SFT، RL و On-Policy Distillation: نگاهی توزیعی به پست‌ترینینگ

یه مدل زبانی رو می‌شه به عنوان یه توزیع احتمالی روی دنباله‌های متنی در نظر گرفت. وقتی پست‌ترینینگ می‌کنیم، داریم شکل این توزیع رو عوض می‌کنیم. سه روش اصلی — SFT، RL و On-Policy Distillation — این کار رو به شیوه‌های کاملاً متفاوتی انجام می‌دن.

SFT (Supervised Fine-Tuning) ساده‌ترین حالته: یه دیتاست آماده داریم (از انسان یا مدل قوی‌تر) و مدل رو با cross-entropy به سمت توزیع اون دیتاست می‌کشیم. مشکل اینجاست که چون توزیع شروع مدل در این فرآیند اهمیتی نداره، اگه دیتاست خیلی دور از توزیع اولیه مدل باشه، مدل راحت چیزهایی که قبلاً بلد بوده رو فراموش می‌کنه — پدیده‌ای که بهش Catastrophic Forgetting می‌گن. با این حال SFT برای وقتی که باید فرمت خروجی رو کلاً عوض کرد، عالیه.