‏مقایسه‌ی decision modelها برای eval خودکار

decision modelها یه دسته‌ی جدید از مدل‌ها هستن مثل Jev از TypeSafe، Decider از Perplexity، d1 از Liquid، Clef از Cloudflare و Decisions API از OpenAI. کارشون طبقه‌بندی سریع و ارزونه و برای هر ورودی یه احتمال بین ۰ و ۱ برمی‌گردونن. نویسنده‌ها می‌گن این مدل‌ها جایگزین کم‌هزینه‌ای برای LLM judge (یعنی LLMی که با یه prompt خروجی یه سیستم AI رو قضاوت می‌کنه) هستن، ولی خیلی‌ها آستانه‌ی پیش‌فرض ۰٫۵۰ رو بدون چک کردن استفاده می‌کنن.

تو این آزمایش ۹۸ trace (یعنی لاگ کامل مکالمه و کارهای یه ایجنت اجاره‌ی آپارتمان) بررسی شد که ۶۱ تاش خطا داشت. هر مدل باید احتمال وجود خطا رو می‌داد. مثال مقاله ساده‌ست: اگه مدلی به همه‌ی خطاها ۰٫۴۰ بده و به همه‌ی موارد سالم ۰٫۱۰، با آستانه‌ی ۰٫۳۰ بی‌نقصه، ولی با ۰٫۵۰ هیچ خطایی رو نمی‌گیره.

انتخاب آستانه یعنی تعادل بین precision (چند درصد از موارد علامت‌خورده واقعاً خطان) و recall (چند درصد از خطاها گرفته شدن). نویسنده‌ها با F1 هر دو رو هم‌وزن گرفتن و حداقل ۸۰٪ برای هر کدوم گذاشتن. فقط Perplexity، Liquid d1-ultra و OpenAI Decisions به این حد رسیدن. تنظیم آستانه هم با 5-fold cross-validation انجام شد که آستانه روی داده‌ی جدا تست بشه.

تو مقایسه‌ی هزینه، Perplexity با F1 برابر ۰٫۷۹ و هزینه‌ی ۰٫۸۲ سنت برای هر ۱۰۰ اجرا ارزون‌ترین بود. OpenAI Decisions (که از GPT-6 Luna استفاده می‌کنه) به F1 برابر ۰٫۸۷ رسید، ولی با ۳٫۷۲ سنت، حدود ۴٫۵ برابر گرون‌تر.

بخش آخر درباره‌ی calibration هست، یعنی این‌که آیا امتیاز ۰٫۸۰ واقعاً یعنی ۸۰٪ احتمال خطا. مثلاً یه گروه از traceهای Clef Flash میانگین احتمال حدود ۸٪ داشتن، ولی ۶۰٪ واقعاً خطا داشتن. با Platt scaling (یعنی فیت کردن یه منحنی sigmoid برای اصلاح احتمال‌ها) Perplexity، Liquid d1 و Clef Flash بهتر شدن، ولی Brier score مدل OpenAI از ۰٫۱۵۹ به ۰٫۱۶۴ بدتر شد. نویسنده‌ها تأکید می‌کنن نتیجه از یه دیتاست به دیتاست دیگه فرق می‌کنه و باید خودت اندازه بگیری.

نکات کلیدی:

• آستانه‌ی پیش‌فرض decision modelها ۰٫۵۰ هست و بدون تنظیم می‌تونه نتیجه رو خیلی بد کنه.
• از شش مدل، فقط Perplexity، Liquid d1-ultra و OpenAI Decisions به حداقل ۸۰٪ precision و recall رسیدن.
• OpenAI Decisions با F1 برابر ۰٫۸۷ بهترین بود، با هزینه‌ی ۳٫۷۲ سنت برای ۱۰۰ اجرا.
• Perplexity با F1 برابر ۰٫۷۹ و ۰٫۸۲ سنت ارزون‌ترین گزینه‌ی قابل قبول بود.
• Platt scaling برای OpenAI، Brier score رو از ۰٫۱۵۹ به ۰٫۱۶۴ بدتر کرد؛ پس کالیبره کردن رو هم باید تست کرد.