مشکل مدلهای پاداش: میانگین، سلیقهی هیچکس نیست
هوش مصنوعیClaude Opus 5خلاصهٔ کاملتر
ایتن اسمیت تو این پست از یه مشاهده شروع میکنه: مقالههای تازهی یادگیری تقویتی برای مدلهای دیفیوژن، تابع پاداش رو عالی برازش میکنن ولی تصویرهای خروجی همه یه شکلن — همون ظاهر HDR قلابی و ایربراششده. به گفتهی نویسنده این ایراد روش RL نیست، ایراد خودِ تابع پاداشه.
استدلالش اینه که سلیقهی آدمها ذاتاً پرنوسان و گاهی متضاده. اگه نصف یه جامعه هنر تیره و دلگیر رو دوست داشته باشه و نصف دیگه صحنههای روشن رو، مدلی که دنبال کمترین خطاست برای هر دو گروه یه عدد وسط پیشبینی میکنه؛ یعنی اون ویژگی عملاً بیاثر میشه و مدل میره سراغ ویژگیهایی که برای همه کمی امتیاز مثبت دارن. نویسنده معتقده چیزی که در این حد فراگیر باقی میمونه اونقدر ابتدایی و مبهمه که نکتههای واقعی سلیقهی هرکس رو از دست میده.
اینجا بین واریانس قابل توضیح و نویز مرز میکشه: برچسبهای ناسازگار برای مدل شبیه نویز رفتار میکنن، مثل دستهبند گربه و سگ که با برچسب تصادفی آموزش ببینه و آخرش برای همهچی ۰٫۵ بده. شاهدی هم که میآره اینه که پیشبین زیباییشناسی LAION نسخهی ۲ با برچسب ۰ تا ۱۰ آموزش دیده، ولی در عمل حدود ۹۹ درصد پیشبینیهاش بین ۴ تا ۶ میافته — نشونهی یه برازش خیلی محافظهکارانه.
به نظر نویسنده برای پاداشهای عینیتر — حل درست مسئلهی ریاضی، متنی که OCR بتونه بخونه، یا فشردهپذیری تصویر — میانگین گرفتن اشکالی نداره؛ مشکل مخصوص جاییه که خودِ هدف سلیقهایه. مثال سری زمانیاش هم همینه: اگه یه الگو نصف مواقع صعودی و نصف مواقع نزولی ادامه پیدا کنه، میانگین بدترین روایت ممکنه و حتی میانگین بهعلاوهی واریانس هم بیشتر جرم احتمال رو وسط میذاره؛ مدل ترکیب گاوسی حداقل چند خوشهی خروجی رو به رسمیت میشناسه.
سه راهحل پیشنهاد میده: مدل ترکیب گاوسی برای برازش توزیع چندقلهای (یه گاوسی برای طرفدارهای تیره، یکی برای طرفدارهای روشن)، شرطیکردن مدل پاداش روی خود امتیازدهنده یا متادیتاش، و تزریق یه بردار تصادفی z شبیه ایدهی VAE که بهازای هر بردار امتیاز متفاوتی بده. خودش هم قبول داره که تعداد گاوسیها یه عدد دلخواهه و مثل انتخاب k تو k-means جواب قطعی نداره.
چون همهی اینها چند امتیاز خروجی میدن، نویسنده میگه نباید همه رو با هم بیشینه کرد — وگرنه سر همون میانگین برمیگردیم — بلکه باید مدل مولد رو هم روی همون شرط سوار کرد، شبیه امبدینگ وظیفه: «خروجیای بساز که امتیازدهندهی ۵ بپسنده». مزیت جانبیاش اینه که فضای آموزش بزرگتر میشه، چون یه تصویر رو میشه تو چند سناریوی ارزیابی مختلف سنجید.
نکات کلیدی:
- مدل پاداشی که میانگین امتیازها رو یاد بگیره، به سلیقهی هیچکس نزدیک نیست
- سلیقههای متضاد برای مدل مثل نویز رفتار میکنن و به پیشبینی وسط ختم میشن
- ۹۹ درصد خروجی پیشبین زیباییشناسی LAION v2 بین ۴ تا ۶ میافته
- برای پاداشهای عینی مثل درستی ریاضی یا خوانایی OCR، میانگین مشکلی نداره
- راهحلهای پیشنهادی: ترکیب گاوسی، شرطیکردن روی امتیازدهنده، و بردار تصادفی z
