‏مدل‌های پاداش زیادی حساسن؛ راه‌حل: گسسته‌سازی

مدل‌های پاداش (reward models) قلب یادگیری تقویتی مدرن روی مدل‌های زبانی‌ان: جایی که داور انسانی یا verifier قطعی نداری، یه مدل کیفیت جواب رو تخمین می‌زنه. مقالهٔ تازه‌ای در arXiv با عنوان Discretizing Reward Models (از Vijay Viswanathan، Graham Neubig و همکاران) می‌گه نقشِ این مدل‌ها در شکل‌دادن به RL هنوز خوب فهمیده نشده — و یکی از فرض‌های پایه‌ش اشتباهه.

برخلاف «پاداش‌های قابل‌راستی‌آزمایی» که معمولاً دودویی‌ان (درست/غلط)، مدل‌های پاداش امتیاز پیوسته می‌دن. این پیوستگی همیشه به‌عنوان مزیت فروخته شده: یعنی مدل می‌تونه تفاوت‌های ریز بین جواب‌ها رو ببینه. نویسنده‌ها می‌گن دقیقاً همین‌جا ضعف اصلی پنهان شده.

ادعای مرکزی مقاله اینه که خیلی از مدل‌های پاداش محبوب oversensitive یا بیش‌ازحد حساسن: به دوتا جواب که واقعاً به یک اندازه خوبن، امتیازهای متفاوت می‌دن. به گفتهٔ نویسنده‌ها این فقط یه مشکل تئوری نیست — از نظر نظری نشون می‌دن حتی یه مدل پاداشِ به‌ظاهر بی‌نقص هم می‌تونه شدیداً بیش‌حساس باشه، و از نظر تجربی این حساسیت به policyهای بد ختم می‌شه.

راه‌حل ارزیابی که پیشنهاد می‌دن، کنارگذاشتن مفهوم مبهمِ «دقت مدل پاداش» و جایگزینیش با دو معیار جداست: discriminative ability (توانایی تشخیص واقعی خوب از بد) و specificity که دقیقاً نقطهٔ مقابل بیش‌حساسیته. جداکردن این دو اجازه می‌ده ببینی مدل داره تفاوت واقعی رو می‌بینه یا فقط نویز تولید می‌کنه.

راه‌حل عملی‌شون هم جالبه چون بدون آموزش مجدد کار می‌کنه: با Monte Carlo dropout روی هر مدل پاداش عصبی، پاداش‌ها رو به چند خوشهٔ گسسته تبدیل می‌کنن. یعنی به‌جای یه عدد ممیز شناور، مدل عملاً به چند سطح محدود امتیاز می‌ده و تفاوت‌های بی‌معنی حذف می‌شن.

نویسنده‌ها هم اثبات نظری می‌دن که گسسته‌سازی‌هایی وجود دارن که بیش‌حساسیت رو کم می‌کنن بدون این‌که قدرت تمیزدادنِ مدل قربانی بشه، هم تجربی نشون می‌دن — در محیط‌های کنترل‌شده و RL واقعی — که آموزش روی پاداش گسسته به reward hacking کمتر و policyهای بهتر از پاداش خام ختم می‌شه.

نکات کلیدی:

• امتیاز پیوستهٔ مدل‌های پاداش مزیت نیست: باعث می‌شه به جواب‌های هم‌ارزش امتیاز متفاوت بدن
• مقاله «دقت مدل پاداش» رو کنار می‌ذاره و دو معیار discriminative ability و specificity رو پیشنهاد می‌ده
• الگوریتم پیشنهادی بدون آموزش مجدده و با Monte Carlo dropout پاداش رو خوشه‌بندی می‌کنه
• گسسته‌سازی هم از نظر تئوری و هم تجربی به reward hacking کمتر و policy بهتر می‌رسه
• روی هر مدل پاداش عصبی موجود قابل اعماله، پس هزینهٔ اضافه‌کردنش پایینه