ارزیابی مدلهای هوش مصنوعی: گلوگاه جدید محاسباتی
هوش مصنوعیخلاصهٔ کاملتر
تا همین چند سال پیش، ارزیابی مدلهای زبانی یه کار نسبتاً ارزون بود. ولی حالا اوضاع عوض شده. هزینهی eval از یه هزینهی جانبی به یه گلوگاه اصلی تبدیل شده که داره تعیین میکنه چه کسی اصلاً میتونه تحقیق جدی انجام بده.
ماجرا از بنچمارکهای استاتیک شروع شد. وقتی استنفورد در ۲۰۲۲ بنچمارک HELM رو منتشر کرد، هزینهی ارزیابی هر مدل بین ۸۵ دلار تا نزدیک ۱۱ هزار دلار بود. در مجموع، ارزیابی ۳۰ مدل روی ۴۲ سناریو به چیزی حدود ۱۰۰ هزار دلار رسید. ولی یه نکتهی جالبتر هم بود: توسعهدهندهها در طول آموزش مدل، ارزیابی رو بارها تکرار میکنن. مثلاً EleutherAI برای پروژهی Pythia، ۲۴۶۴ چکپوینت منتشر کرد. اگه بخوای همه رو ارزیابی کنی، هزینهی eval میتونه از هزینهی خود pretraining هم بیشتر بشه!
محققان برای بنچمارکهای استاتیک راهحلهای هوشمندانهای پیدا کردن. پرلیتز و همکاراش نشون دادن که میشه با کاهش ۱۰۰ تا ۲۰۰ برابری دادههای ارزیابی، همون رتبهبندی رو حفظ کرد. پروژهی tinyBenchmarks موفق شد MMLU رو از ۱۴ هزار سوال به فقط ۱۰۰ سوال برسونه با خطای ۲ درصد. Open LLM Leaderboard هم از ۲۹ هزار نمونه به ۱۸۰ نمونه رسید. ایدهی اصلی اینه که تفاوت بین مدلها اغلب در یه زیرمجموعهی کوچیک از سوالاست، پس میشه رتبهبندی رو با نمونهگیری هوشمند حفظ کرد.
ولی این ترفندها با ظهور ارزیابیهای agentمحور دیگه اونقدر مؤثر نیستن. Holistic Agent Leaderboard یا HAL، یه حسابکتاب شفاف از هزینههای eval ارائه داده: ۴۰ هزار دلار برای ۲۱,۷۳۰ rollout روی ۹ مدل و ۹ بنچمارک. یه بازتولید مستقل هم به رقم مشابه ۴۶ هزار دلار رسید. هزینهی یه اجرای تکی GAIA روی مدلهای frontier میتونه تا ۲,۸۲۹ دلار برسه.
یه نکتهی مهم اینه که در ارزیابیهای agentمحور، شما عملاً ترکیب «مدل × scaffold × بودجهی توکن» رو ارزیابی میکنید، نه خود مدل رو. انتخاب scaffold میتونه هزینه رو ۱۰ برابر کنه. مثلاً تحقیق Exgentic نشون داد که برای تسکهای یکسان، یه پخش ۳۳ برابری در هزینه وجود داره! از همه عجیبتر اینه که هزینهی بیشتر لزوماً نتیجهی بهتری نمیده. روی بنچمارک Online Mind2Web، یه پیکربندی ۱,۵۷۷ دلاری به دقت ۴۰ درصد رسید، در حالی که یه پیکربندی ۱۷۱ دلاری به ۴۲ درصد!
فیلتر mid-difficulty که تسکهایی با نرخ موفقیت تاریخی ۳۰ تا ۷۰ درصد رو انتخاب میکنه، میتونه ۲ تا ۳.۵ برابر هزینه رو کاهش بده. ولی این خیلی کمتر از اون ۱۰۰ تا ۲۰۰ برابر کاهشیه که برای بنچمارکهای استاتیک ممکن بود. مشکل اینه که وقتی هر سوال یه مکالمهی چندمرحلهایه، نمیشه به راحتی اون رو فشرده کرد.
یه دستهی سوم هم وجود داره: بنچمارکهایی که خودشون آموزش مدل رو شامل میشن. بنچمارک The Well برای حوزهی علمی ML، شامل ۱۶ دیتاست از حوزههایی مثل دینامیک سیالات، انفجار ابرنواختر، و سیستمهای بیولوژیکیه و در مجموع ۱۵ ترابایت داده داره. ارزیابی یه معماری جدید روی این بنچمارک به ۹۶۰ ساعت H100 نیاز داره (حدود ۲,۴۰۰ دلار) و یه sweep کامل چهار baseline ای ۳,۸۴۰ ساعت H100 میبره. در این حوزه، ارزیابی دو مرتبه از خود آموزش گرونتره، چون آموزش یه مدل ممکنه ۱۲ ساعت طول بکشه ولی ارزیابیش ۸۰ تا اجرای جداگانه نیاز داره.
نتیجهی کلی اینه که eval دیگه فقط یه چک نهایی نیست. برای مدلهای کوچیک، ارزیابی ممکنه بزرگترین هزینهی چرخهی توسعه باشه. برای سیستمهای agentمحور، نه تنها گرونه، بلکه scaffold-sensitive و پر از نویزه. و برای بنچمارکهای علمی، ارزیابی میتونه از خود آموزش هم فراتر بره. این یعنی فقط سازمانهای بزرگ و پردرآمد میتونن بنچمارکهای جامع رو اجرا کنن، و این یه مشکل جدی برای تنوع و سلامت اکوسیستم تحقیقات هوش مصنوعیه.
نکات کلیدی:
- HAL برای ارزیابی ۹ مدل روی ۹ بنچمارک، ۴۰ هزار دلار خرج کرد
- یه اجرای GAIA روی مدلهای frontier تا ۲,۸۲۹ دلار هزینه داره
- انتخاب scaffold میتونه هزینه رو تا ۳۳ برابر تغییر بده
- خرج بیشتر لزوماً دقت بیشتر نمیده؛ پیکربندی ۱۷۱ دلاری از ۱,۵۷۷ دلاری بهتر عمل کرد
- برای بنچمارکهای استاتیک، کاهش ۱۰۰ تا ۲۰۰ برابری هزینه ممکن بود؛ برای evals agentمحور فقط ۲ تا ۳.۵ برابر
- بنچمارک The Well در حوزهی علمی ML، ارزیابی رو دو مرتبه از آموزش گرونتر کرده
- این وضعیت داره تحقیقات جدی رو به سازمانهای بزرگ محدود میکنه
