‏بنچمارک خودت رو برای ابزارهای کدنویسی AI بساز

تو این مقاله اومده که Harness Arena چند هارنس (یعنی همون لایهٔ دور مدل: دستورالعمل‌ها، ابزارها و محیط اجرا) رو با یه تسک و یه مدل ثابت مقایسه می‌کنه و خروجی‌ها رو بی‌نام برای داوری می‌ذاره. چیزی که نویسنده این بار روش دست می‌ذاره اینه که لازم نیست فقط تماشاگر نتایج بقیه باشی، می‌تونی تسک‌های خودت رو بفرستی و همون‌ها رو معیار انتخاب ابزار کنی.

battle log سابقهٔ همهٔ اجراهاست و می‌شه بر اساس وضعیت (تو صف، در حال اجرا، منتظر داوری)، دسته یا نتیجه فیلترش کرد. اگه فقط می‌خوای داوری رو امتحان کنی، فیلتر «منتظر داوری» یه نقطهٔ شروع آماده می‌ده. با باز کردن هر راند یه جدول مقایسه می‌بینی که تعداد خروجی‌ها و امتیاز جامعه‌ش تا پایان داوری مخفی می‌مونه، پس نمی‌شه قبل از نمره دادن دزدکی جواب برتر رو دید.

مسیر ساخت بنچمارک از گزینهٔ «new benchmark» تو سایدبار شروع می‌شه و حساب کاربری می‌خواد. اول دیتاست: یا قالب اکسل رو دانلود می‌کنی و هر تسک رو تو یه ردیف می‌ذاری، یا از تسک‌های از پیش بارگذاری‌شده استفاده می‌کنی. بعد حداقل دو هارنس انتخاب می‌کنی؛ اضافه کردن هارنس On Demand اول کلید API خودش رو لازم داره، همون کلیدی که برای بخش skills هم لازمه.

بعدش تسک رو فیلتر و انتخاب می‌کنی و با «view task» متن کامل پرامپت و فایل‌های مرجعش رو می‌خونی، چون بعضی تسک‌ها محدودیت مشخص دارن، مثلاً «این overlay رو حذف کن ولی به کنترل چرخش دست نزن». مدل‌هایی مثل Kimi K2، GLM 4.5 Flash و Qwen 3 تو فهرست بودن که چندتاشون رایگان علامت خورده بودن. قبل از ارسال هم شمارندهٔ تعداد تسک و هارنس رو نشون می‌ده.

به گفتهٔ نویسنده شروع با یه تسک و دو هارنس خوندن نتیجه رو راحت‌تر می‌کنه، و بعد از ارسال با «view progress» می‌تونی روند اجرا رو دنبال کنی؛ هر تسکی که تموم شه بلافاصله قابل داوریه و لازم نیست منتظر کل دیتاست بمونی. اگه یه سری کار تکراری داری، مثل یه الگوی refactor خاص یا یه نوع باگ همیشگی، این بنچمارک کوچیک شخصی جواب مستقیم‌تری از لیدربورد عمومی می‌ده.

هزینه‌ش وقتیه که باید برای ساخت دیتاست و داوری خروجی‌ها بذاری. برای یه چک سریع‌تر، همون گشتن تو battle log و نمره دادن به یه راند منتظرِ داوری کافیه. بک‌اند پلتفرم هم روی گیت‌هاب با لایسنس MIT منتشر شده و می‌شه خودت هاستش کنی، ولی اجرای نسخهٔ شخصی یعنی هزینهٔ مدل و هاست با خودته.

نکات کلیدی:

• ساخت بنچمارک سفارشی حساب کاربری و حداقل دو هارنس لازم داره
• دیتاست با قالب اکسل ساخته می‌شه؛ هر تسک تو یه ردیف
• اضافه کردن هارنس On Demand به کلید API همون سرویس نیاز داره
• مدل‌های Kimi K2، GLM 4.5 Flash و Qwen 3 تو فهرست بودن و چندتاشون رایگان علامت خورده بودن
• تسک تموم‌شده بلافاصله قابل داوریه، لازم نیست کل دیتاست تموم شه