‏ThinkingBox مایکروسافت: ایجنت‌ها رو از روی دیتابیس بسنج

تیم Copilot Studio مایکروسافت با همکاری Hugging Face بنچمارک ThinkingBox رو معرفی کرده. ایده‌ش اینه که یه tool call (یعنی صدا زدن یه ابزار توسط ایجنت) نتیجه نیست. ایجنت می‌تونه حرف درست بزنه و ابزارها رو درست صدا بزنه، ولی آخرش یه فیلد غلط تو دیتابیس بذاره. پس ThinkingBox ایجنت رو از روی وضعیت نهایی بک‌اند و side effectها (یعنی تغییرات جانبی که ایجاد کرده) نمره می‌ده.

مثال خود مقاله: ایجنت با ۹ tool call درست، تیکت یه مشتری رو بررسی می‌کنه ولی آخرش وضعیتش رو «resolved» می‌ذاره، در حالی که چون مشکل حمل هنوز باز بوده، باید «on hold» می‌شد. تو یه آزمایش روی ۱۲۱٬۶۸۰ اجرا، از ۷۹٬۸۵۳ شکست، ۶۷.۲۴٪ بدون هیچ خطای ظاهری تموم شده بودن. ولی چک‌ها تو ۷۷.۶۱٪ مقدار غلط و تو ۴۳.۳۰٪ تغییر اضافه پیدا کردن.

هر کدوم از ۵۰۷ تسک (تو حوزه‌های خرده‌فروشی، بیمه‌ی خودرو، سفر، بانک آنلاین و مشاوره) ۲۰ بار از یه وضعیت تمیز اجرا می‌شه. سه عدد گزارش می‌شه: pass@1 (درصد کل تلاش‌های موفق)، pass@20 (تسک‌هایی که حداقل یه بار حل شدن) و 20/20 (تسک‌هایی که هر ۲۰ بار درست بودن). تو pass@1 مدل Claude Opus 5.5 با ۶۷.۱۶٪ اوله و Kimi-K3 بهترین مدل open-weight هست.

به گفته‌ی نویسنده‌ها، فاصله‌ی این عددها کل ماجراست. Kimi-K3 تونسته ۹۳.۸۹٪ تسک‌ها رو حداقل یه بار حل کنه، ولی فقط ۶۸ تسک رو هر ۲۰ بار درست انجام داده. Claude Opus 5 کمتر تسک رو حداقل یه بار حل می‌کنه ولی ۲۴۱ تسک (۴۷.۵۳٪) رو همیشه درست انجام می‌ده. Opus 5.5 با اینکه امتیاز بالاتری داره، دقیقاً همون ۲۴۱ تسک رو ۲۰ از ۲۰ گرفته. یعنی نسخه‌ی جدیدتر قابل اتکاتر نشده.

هزینه رو هم حساب کردن. ارزون‌ترین هزینه برای هر تلاش موفق مال GPT-5.6 Sol با ۰.۱۲۷ دلاره، ولی هزینه‌ی هر «تسک قابل اتکا» براش ۹.۷۶ دلار می‌شه. تو این معیار GPT-5.4 با ۶.۸۰ دلار ارزون‌ترینه، GPT-6 Astra با ۷.۴۵ و Opus 5.5 با ۷.۸۰ دلار بعدش هستن. نتیجه اینکه ارزون‌ترین راه برای یه جواب درست، ارزون‌ترین راه برای جواب همیشه درست نیست.

حدود ۸۰٪ شکست‌ها مربوط به نحوه‌ی کار با ابزارهاست، نه استدلال. یعنی ایجنت نمی‌تونه از خطای ابزار یا جستجوی خالی بازیابی کنه. پیشنهاد نویسنده‌ها اینه که تو محیط واقعی هم قبل از commit، وضعیت نهایی رو چک کنی، خطاها رو دسته‌بندی کنی تا retry فقط روی موارد قابل جبران باشه، ابزارها رو محدود کنی و برای تغییرات برگشت‌ناپذیر تأیید انسانی بذاری. هارنس و دیتاست روی Hugging Face و از طریق OpenEnv در دسترسه.

نکات کلیدی:

• ThinkingBox-Bench شامل ۵۰۷ تسک تو ۵ حوزه‌ست و هر تسک ۲۰ بار اجرا می‌شه.
• ۴۷۷ تسک فقط از روی وضعیت دیتابیس نمره می‌گیرن و ۳۰ تسک یه rubric برای جواب هم دارن.
• Claude Opus 5.5 با pass@1 برابر ۶۷.۱۶٪ اوله ولی مثل Opus 5 فقط ۲۴۱ تسک رو ۲۰ از ۲۰ گرفته.
• Kimi-K3 بیشترین پوشش (۹۳.۸۹٪) رو داره ولی فقط ۱۳.۴۱٪ تسک‌ها رو همیشه درست انجام می‌ده.
• ۷۹.۹٪ شکست‌ها از نوع استفاده از ابزاره.
• کد با لایسنس MIT و دیتا با CDLA-Permissive-2.0 منتشر شده.