اسپاتیفای: کی میشه فقط با offline eval تصمیم گرفت؟
خلاصهٔ کاملتر
تیم مهندسی اسپاتیفای تو این پست سراغ یه سؤال رایج رفته: وقتی یه فیچر مبتنی بر LLM رو عوض میکنیم (مثلاً prompt جدید یا مدل دیگه)، میشه فقط با offline eval تصمیم گرفت؟ offline eval یعنی تست سریع روی یه مجموعهی ثابت از promptها، اغلب با یه LLM دیگه بهعنوان داور (LLM-as-a-judge). مزیتش اینه که چند ساعت طول میکشه، در حالی که A/B تست روی کاربرهای واقعی چند روز یا چند هفته وقت میبره.
نویسندهها هدف رو اینطوری تعریف میکنن: تصمیم بگیریم و در عین حال ریسک منتشر کردن چیزی که متریک آنلاین رو خراب میکنه محدود بمونه. برای این کار باید بدونیم با دیدن یه نتیجهی آفلاین، اثر واقعی آنلاین چقدر احتمال داره مثبت یا منفی باشه. یعنی به یه عالمه آزمایش جفتی نیاز داریم که هم نتیجهی آفلاین داشته باشن هم آنلاین، و همه از یه رابطهی یکسان بیان.
نکتهی مهم مقاله خطای اندازهگیریه. هر دو عدد نویز دارن: eval به خاطر نمونهگیری و داور LLM، و A/B تست به خاطر نمونهگیری از کاربرها. اگه این نویز رو حساب نکنیم، یه رابطهی قوی ضعیف به نظر میاد. تو مثال مقاله، تخمین ساده میگه eval فقط ۲۴٪ تغییرات آنلاین رو توضیح میده (R²، یعنی چقدر از نتیجهی آنلاین رو eval توضیح میده)، در حالی که عدد واقعی ۶۰٪ه.
با این مدل میشه یه decision gate ساخت: اگه اثر آفلاین به اندازهی کافی مثبت باشه منتشر میکنیم، اگه به اندازهی کافی منفی باشه کنارش میذاریم، و هرچی وسط باشه میره سراغ A/B تست. هرچی رابطهی آفلاین و آنلاین ضعیفتر باشه، این آستانهها باید سختگیرانهتر بشن.
ولی نویسندهها سه تا خطر جدی رو نشون میدن. اول، اگه آزمایشها از جنسهای مختلف باشن، ممکنه اثر Simpson's paradox پیش بیاد، یعنی تو دادهی کلی رابطهی قوی دیده بشه ولی داخل هیچ گروهی وجود نداشته باشه. دوم، داور LLM اگه سوگیریش به نسخهی تست بستگی داشته باشه (مثلاً خروجی مدل خودش رو ترجیح بده) میتونه حتی جهت نتیجه رو برعکس کنه، که موقع عوض کردن مدل زیربنایی ایجنت خیلی پیش میاد. سوم، وقتی gate رو راه بندازی، دیگه برای ناحیههای تصمیم A/B تست نمیگیری و نمیفهمی رابطه کی عوض شده. پیشنهادشون یه audit poolه، یعنی درصد کمی از این موارد رو تصادفی بازم A/B تست کنی.
جمعبندی نویسندهها اینه که A/B تست ریسک رو ذاتاً محدود میکنه، ولی offline eval فقط با فرضهای اضافهای به همون تضمین میرسه که چککردن و نگهداشتنشون سخته. خود اسپاتیفای هم از offline eval زیاد استفاده میکنه ولی همچنان کنار آزمایش آنلاین.
نکات کلیدی:
- offline eval چند ساعت طول میکشه ولی A/B تست چند روز تا چند هفته.
- با نادیده گرفتن نویز، R² تو مثال مقاله ۲۴٪ تخمین زده میشه در حالی که مقدار واقعی ۶۰٪ه.
- decision gate سه ناحیه داره: انتشار، کنار گذاشتن، و ارجاع به A/B تست.
- سوگیری داور LLM فقط وقتی مشکلسازه که به نسخهی تست یا کنترل بستگی داشته باشه.
- Simpson's paradox میتونه یه رابطهی قوی جعلی تو دادهی ترکیبی نشون بده.
- برای تشخیص drift، یه audit pool از موارد تصادفی همچنان A/B تست میشه.




