‏دیسکوفورمر: یک ترنسفورمر برای چگالی و اسکور

به گفتهٔ نویسنده‌ها، خیلی از مسائل یادگیری ماشین و علوم به یه کار مشترک برمی‌گردن: یه مشت داده داری و می‌خوای توزیعی که ازش اومدن رو پیدا کنی — اینکه کدوم مقدارها رایج‌ان و کدوم نادر. برای این کار دو چیز رو باید تخمین زد: چگالی توزیع، که نسخهٔ نرم‌شدهٔ هیستوگرامه و هرجا داده‌ها جمع‌ان بالاست، و score که گرادیان لگاریتم چگالیه و به سمتی اشاره می‌کنه که چگالی سریع‌تر بالا می‌ره.

نویسنده‌ها می‌گن score خیلی جاها پای ثابته. مثلاً مدل‌های diffusion (همون تکنولوژی پشت تولیدکننده‌های تصویر مثل Stable Diffusion و DALL-E) از نویز تصادفی شروع می‌کنن و مدام score رو دنبال می‌کنن تا نویز رو به یه تصویر واقعی تبدیل کنن. همین score تو نمونه‌گیری بیزی و شبیه‌سازی ذرات مثل مدل‌کردن پلاسما هم به کار می‌ره.

مشکل اینجاست که ابزارهای فعلی آدمو مجبور به یه معامله می‌کنن. روش کلاسیک KDE هیچ آموزشی نمی‌خواد و رو هر توزیعی جواب می‌ده، ولی هرچی بُعد داده بالاتر بره دقتش شدید می‌ریزه. از اون طرف مدل‌های عصبی score-matching حتی تو ابعاد بالا دقیق می‌مونن، ولی هر کدوم فقط یه توزیع رو یاد می‌گیرن و برای توزیع بعدی باید از صفر دوباره آموزش ببینن.

نویسنده‌ها می‌گن DiScoFormer این گره رو باز می‌کنه: با یه forward pass، هم چگالی و هم score رو بدون آموزش مجدد تخمین می‌زنه. مدل از cross-attention استفاده می‌کنه که بهش اجازه می‌ده چگالی و score رو هر نقطه‌ای حساب کنه، نه فقط جایی که داده داری. یه backbone مشترک داره با دو تا خروجی، یکی برای چگالی و یکی برای score.

نکتهٔ جالبش اینه که چون score باید گرادیان همون head چگالی باشه، هر فاصله‌ای بینشون خودش یه خطای سازگاری بدون برچسبه. مدل موقع inference با چند قدم گرادیان روی همین خطا، خودشو با ورودی خارج از توزیع تطبیق می‌ده. نویسنده‌ها همچنین نشون می‌دن که attention در واقع تعمیم KDE هست — وزن‌های یه head تقریباً یه kernel گاوسی روی داده‌ست — پس مدل به‌جای دور انداختن روش کلاسیک، اونو به‌عنوان حالت خاص در خودش داره و ازش جلوتر می‌ره.

برای آموزش هم از Gaussian Mixture Model استفاده کردن، چون GMM ها هم تقریباً هر توزیع صافی رو می‌تونن بسازن و هم چگالی و score دقیق و بسته دارن، پس همیشه یه هدف دقیق برای نظارت هست. تو عمل، نویسنده‌ها می‌گن DiScoFormer تو هر دو کار از KDE بهتره و فاصله دقیقاً جایی که KDE ضعیفه بازتر می‌شه: تو ۱۰۰ بعد خطای score رو حدود ۶.۵ برابر و خطای چگالی رو بیش از ۳۷ برابر کم می‌کنه و حتی رو شکل‌های غیرگاوسی مثل Laplace و Student-t هم دقیق می‌مونه. تنها برگ برندهٔ KDE سرعتشه، مخصوصاً رو داده‌های کوچیک.

نکات کلیدی:

• DiScoFormer با یه forward pass هم چگالی و هم score یه توزیع رو بدون آموزش مجدد تخمین می‌زنه
• score یعنی گرادیان لگاریتم چگالی و پایهٔ مدل‌های diffusion، نمونه‌گیری بیزی و شبیه‌سازی علمیه
• مدل با cross-attention کار می‌کنه که تعمیم kernel گاوسی KDE محسوب می‌شه
• تو ۱۰۰ بعد خطای score رو ~۶.۵ برابر و خطای چگالی رو >۳۷ برابر نسبت به KDE کم می‌کنه
• آموزش روی Gaussian Mixture Model انجام شده چون چگالی و score دقیق و بسته دارن