‏بنچمارک‌های ایجنتی Nanbeige4.3-33B: کجا می‌بره و کجا می‌بازه

مدل Nanbeige4.3-33B یه مدل open-weight با لایسنس Apache 2.0 هست که روی یه base با معماری Llama ساخته شده. تیمش اونو مدل «معلم» یه خانواده از مدل‌های کوچیک‌تر می‌دونه که قراره با distillation (یعنی آموزش مدل کوچیک با خروجی مدل بزرگ) ازش ساخته بشن. تو model card یه جدول با ۲۰ بنچمارک هست که این مدل رو با Qwen3.8-27B، Muse-Glimmer-30B و Gemma4-31B مقایسه می‌کنه، همه با بیشترین thinking effort و تنظیمات یکسان.

بیشترین فاصله تو Terminal-Bench دیده می‌شه. این بنچمارک می‌سنجه یه مدل چقدر خوب می‌تونه خودش تو ترمینال کار کنه: فایل‌ها رو بگرده، دستور اجرا کنه و باگ پیدا کنه. تو نسخه‌ی 2.1 امتیاز Nanbeige 80.9 هست در برابر 73.0 برای Qwen و 47.2 برای Gemma4. نسخه‌ی 4.0 خیلی سخت‌تره و امتیاز همه پایین میاد: Nanbeige به 23.8 می‌رسه ولی بقیه به 6.3، 1.6 و 0.0. به گفته‌ی مقاله، یعنی بیشتر مدل‌های حدود ۳۰ میلیاردی هنوز از پس این کارهای سخت برنمیان.

تو کدنویسی ایجنتی Nanbeige هفت تا از هشت بنچمارک رو برده و تو DeepSWE با 65.5 در برابر 42.5 برای Qwen جلوئه. تو بخش cowork (کارهای شبیه کار اداری مثل برنامه‌ریزی و عملیات سازمانی) هم هفت تا از نُه تا رو برده. تو YC-bench که امتیازش دلاریه، حدود ۶۰ درصد بیشتر از Qwen گرفته. ولی تو SWE-Bench Pro مدل Qwen با 61.7 در برابر 60.3 جلوئه و GDPval رو هم برده. نویسنده می‌گه این دوتا روی دقت تو کارهای پیچیده و واقعی تمرکز دارن و شاید برای همین Qwen اونجا قوی‌تره.

تو بنچمارک‌های استدلال مثل GPQA Diamond و AIME 2026 هر چهار مدل نزدیک به هم هستن و Gemma4-31B با 91.3 تو GPQA Diamond اوله، با اینکه تقریباً تو همه‌ی تست‌های ایجنتی آخر شده. نویسنده معتقده این الگو با حرف خود سازنده‌ها جوره: مدل برای کارهای ایجنتی تنظیم شده، نه برای بالا بردن امتیاز استدلال.

مقاله چند تا هشدار هم می‌ده. همه‌ی اعداد از ارزیابی خود تیم Nanbeige هست، با harnessهایی که خودشون انتخاب کردن، و هیچ تکرار مستقلی ذکر نشده. موقع انتشار model card تعداد دانلودها هم صفر بوده، یعنی هنوز هیچ سابقه‌ای از استفاده‌ی واقعی نداره. پس اگه می‌خوای ازش استفاده کنی، بهتره اول روی کار خودت تستش کنی.

نکات کلیدی:

• لایسنس Apache 2.0، حدود ۳۳ میلیارد پارامتر، base با معماری Llama و context تا 512K توکن
• Terminal-Bench 4.0: امتیاز 23.8 در برابر 6.3 برای Qwen3.8-27B و 0.0 برای Gemma4-31B
• SWE-Bench Pro: Qwen3.8-27B با 61.7 در برابر 60.3 جلوتره
• YC-bench: حدود 1,025,437 دلار در برابر 641,290 دلار برای Qwen
• همه‌ی نتایج از خود سازنده‌ست و تکرار مستقلی نداره