چطور ایجنت‌ها رو روی کارهای سلیقه‌ای ارزیابی کنیم
هوش مصنوعی
تستخلاصهٔ کامل‌تر
کامرون ولف این مقاله رو به‌عنوان مرجع ارائه‌ش تو کنفرانس AI Engineer نوشته. به گفته نویسنده، ارزیابی ایجنت‌ها خیلی سخته: کارها متنوع و طولانی‌ان، اجراشون گرونه و خود ایجنت‌ها non-deterministic هستن (یعنی هر بار اجرا ممکنه خروجی متفاوت بدن). پس اگه نمره بنچمارک بالا رفت، معلوم نیست ایجنت واقعاً بهتر شده باشه. تو کارهای سلیقه‌ای مثل نویسندگی خلاق این مشکل بدتره، چون نمی‌شه جواب رو با تست قطعی چک کرد و باید سراغ انسان یا LLM judge (یعنی یه مدل زبانی که نقش داور رو بازی می‌کنه) رفت.
نویسنده می‌گه LLM judgeها و rubricها (یعنی چک‌لیستی از معیارهای مشخص برای هر کار) روش مقیاس‌پذیری برای سنجش کیفیت‌ان، ولی سوگیری دارن. برای همین باید meta-evaluation کرد، یعنی پیش‌بینی‌هاشون رو با یه دیتاست طلایی ساخته‌شده توسط انسان مقایسه کرد. مثلاً Netflix بررسی کرده نمره داور با معیارهای واقعی مثل نرخ رها کردن کاربر ربط داره یا نه.
بعد سه ابزار آماری معرفی میشه. Power analysis قبل از ارزیابی تخمین می‌زنه چندتا نمونه لازم داری تا یه بهبود مشخص رو تشخیص بدی. Confidence interval دور نمره کشیده میشه، با فرمول mean ± 1.96 × standard_error برای ۹۵٪. اگه کارها مستقل نباشن، مثلاً از یه کدبیس اومده باشن، باید از clustered standard error استفاده کرد. Re-sampling هم یعنی هر کار رو چند بار اجرا و میانگین بگیری تا نویز داخل هر کار کم بشه.
به گفته نویسنده، داده ارزیابی باید متنوع، واقعی، سخت، تفکیک‌کننده و دقیق باشه. برای تنوع، یه taxonomy از کارها بسازید، مثل GDPval که کارها رو بر اساس بخش اقتصادی و شغل دسته‌بندی کرده. برای واقعی بودن، کارها رو از استفاده واقعی بردارید، مثل CursorBench. یه کار سخت که همه ایجنت‌ها توش شکست می‌خورن تفکیک‌کننده نیست، و برای سنجشش میشه از Item Response Theory (روشی از روان‌سنجی که سختی و قدرت تفکیک هر سؤال رو تخمین می‌زنه) کمک گرفت.
نقشه راه پیشنهادی با ارزیابی انسانی شروع میشه که نقش «ستاره قطبی» کیفیت رو داره. اول با چندتا متخصص یه راهنمای کیفیت با چند معیار محدود، مقیاس امتیاز و مثال‌های واقعی می‌سازید. بعد با calibration چند نفر رو روی یه داده می‌ذارید و میزان توافقشون رو با معیارهایی مثل Fleiss' kappa یا Krippendorff's alpha می‌سنجید و راهنما رو اصلاح می‌کنید. اگه توافق بعد از چند دور هم پایین موند، باید اون معیار رو ساده‌تر کرد، به چند بررسی ریزتر شکوند یا کلاً حذفش کرد.
نویسنده تأکید می‌کنه calibration یه کار یه‌باره نیست و باید توافق رو مداوم پایید، چون با اومدن داورهای جدید یا فراموش شدن جزئیات راهنما افت می‌کنه. قدم‌های بعدی نقشه راه، یعنی ارزیابی آفلاین خودکار و مانیتورینگ production، برای اینه که ارزیابی دستی هر مدل جدید گلوگاه نشه.
نکات کلیدی:
- نقشه راه سه بخش داره: ارزیابی انسانی، ارزیابی آفلاین، مانیتورینگ production
- بازه اطمینان ۹۵٪ با فرمول mean ± 1.96 × standard_error ساخته میشه
- re-sampling فقط نویز داخل هر کار رو کم می‌کنه، نه تفاوت بین کارها رو
- کار سختی که همه مدل‌ها توش شکست می‌خورن اطلاعاتی برای مقایسه نمی‌ده
- توافق داورها با Fleiss' kappa یا Krippendorff's alpha سنجیده میشه
- LLM judgeها باید قبل از اعتماد با داده انسانی meta-evaluate بشن
