‏دو تا امتیاز MMLU که اصلاً قابل مقایسه نیستن

نویسنده از دو رکورد ارزیابی شروع می‌کنه: یکی امتیاز MMLU برابر ۰.۷۸۱ برای نسخهٔ ۴۲ یه مدل، اون یکی ۰.۷۹ برای نسخهٔ ۴۴ همون خانوادهٔ مدل. هر دو یه provider، خانوادهٔ مدل، متریک و واحد رو اعلام می‌کنن، ولی وقتی می‌خوای این دو رو از هم کم کنی تا ببینی مدل چقدر پیشرفت کرده، ابزار اعتبارسنجی جواب می‌ده «غیرقابل‌مقایسه».

دلیلش اینه که اسم «MMLU» فقط یه دیتاست رو مشخص می‌کنه، نه کل روش تست رو. نویسنده چند متغیر پنهون رو لیست می‌کنه: اول، اسپلیت دیتا؛ مقالهٔ اصلی MMLU از ۱۴٬۰۷۹ سؤال تست خبر می‌ده، ولی نسخهٔ رایج روی Hugging Face فقط ۱۴٬۰۴۲ تا داره، و بعضی فریم‌ها روی زیرمجموعه‌های کوچیک‌تر و ناشناخته تست می‌کنن. دوم، پیاده‌سازی؛ یه پست معروف از Hugging Face نشون داده سه تا harness مختلف (HELM، Eleuther، کد اصلی) روی یه مدل، سه عدد کاملاً متفاوت درآوردن، حتی رتبه‌بندی مدل‌ها رو هم عوض کردن.

سوم، فرمت پرامپت؛ فقط تغییر علامت‌گذاری گزینه‌ها می‌تونه امتیاز رو حدود ۵٪ جابه‌جا کنه، و جابه‌جا کردن جای گزینهٔ درست تو یه پژوهش دیگه، امتیاز یه مدل رو تا ۱۵ واحد بالا یا پایین برده. چهارم، نوع داور؛ داوری با تطبیق دقیق متن با داوری با یه مدل زبانی (LLM-judge) دو تا روش کاملاً متفاوتن، و مدل‌های داور گاهی فقط ۲۴٪ با خودشون همخونی دارن.

پنجم، دسترسی شبکه؛ گزارش CAISI نشون داده بعضی ارزیابی‌ها با اتصال اینترنت انجام شدن و بعضی بدون، و این تفاوت به‌تنهایی می‌تونه چند درصد امتیاز عوض کنه.

نویسنده این ایده رو به استاندارد VIM وصل می‌کنه؛ VIM یه سند مرجع تو مترولوژیه (یعنی علم اندازه‌گیری دقیق). طبق این استاندارد، قابل‌مقایسه بودن یه ویژگی از «مرجع» اندازه‌گیریه، نه از خود عدد. راه‌حلی که پیشنهاد می‌ده اینه که هر ادعای امتیاز، به یه «فریم» یعنی توضیح کامل روش تست (دیتاست، harness، فرمت پرامپت، داور) وصل بشه که با هش امضا شده؛ اگه هش دو تا فریم فرق کنه، یعنی روش تست فرق داره و نباید عددهاشون رو مستقیم با هم مقایسه کرد.

نکات کلیدی:

• دو امتیاز MMLU مقاله: ۰.۷۸۱ در برابر ۰.۷۹ با اختلاف ظاهری ۰.۰۰۹
• سه harness مختلف (HELM، Eleuther، کد اصلی) روی llama-65b نتایج ۰.۶۳۷ / ۰.۴۸۸ / ۰.۶۳۶ گرفتن
• فرمت پرامپت به‌تنهایی می‌تونه امتیاز رو تا حدود ۵٪ عوض کنه؛ جای گزینهٔ درست تا ۱۵ واحد
• داوری با مدل زبانی گاهی فقط ۲۴٪ با خودش همخونی داره، در حالی که تطبیق دقیق متن این مشکل رو نداره
• راه‌حل پیشنهادی: وصل کردن هر امتیاز به یه فریم هش‌شده که کل روش اندازه‌گیری رو ثبت می‌کنه