Nanbeige4.3-33B در برابر رقبای ۳۰ میلیاردی: مقایسه‌ی بنچمارک‌ها
هوش مصنوعیClaude Opus 5.5خلاصهٔ کامل‌تر
Nanbeige4.3-33B مدل پرچم‌دار سری Nanbeige4.3 هست، یه مدل اوپن‌ویت ۳۳ میلیارد پارامتری که نقش «معلم» رو داره. یعنی قراره بعداً ازش برای ساخت مدل‌های کوچیک‌تر مثل Nanbeige4.3-3B استفاده بشه. هدفش چت عمومی نیست، بلکه کدنویسی ایجنتی (یعنی مدلی که خودش ابزار اجرا می‌کنه و چند قدم جلو می‌ره) و کارهای حرفه‌ای اداریه. طبق مقاله، تو ۱۴ تا از ۱۹ بنچمارک منتشرشده اول شده.
بیشترین برتری تو کدنویسی ایجنتیه. تو Terminal-Bench 2.1 نمره‌ش 80.9 هست در برابر 73.0 برای Qwen3.8-27B. تو Terminal-Bench 4.0 که سخت‌تره، فاصله خیلی بیشتر میشه: 23.8 در برابر 6.3 برای Qwen و تقریباً صفر برای بقیه. DeepSWE هم همین الگو رو داره (65.5 در برابر 42.5). تنها باخت کدنویسی تو SWE-Bench Pro هست که Qwen با 61.7 در برابر 60.3 جلو می‌زنه.
تو بخش «agentic cowork» که کارهایی مثل برنامه‌ریزی، اتوماسیون و هماهنگی ابزارها رو می‌سنجه، از ۹ بنچمارک ۷ تاش رو برده. Automation Bench با 54.2 در برابر 38.3 و DeepPlanning با 63.3 در برابر 49.2 از بزرگ‌ترین فاصله‌هاست. ولی GDPval رو به Qwen باخته (86.4 در برابر 84.8) و تو EnterpriseOps-Gym و Tau3-Bench برتریش اون‌قدر کمه که بیشتر شبیه مساویه.
تو استدلال عمومی برتری قاطعی نداره. Gemma4-31B با 91.3 تو GPQA Diamond از Nanbeige با 89.5 جلوتره، با اینکه تو کارهای ایجنتی خیلی ضعیف‌تره. AIME 2026 و AA-LCR رو Nanbeige برده ولی با فاصله‌ی کم. نویسنده می‌گه این نشون می‌ده تمایز این مدل دقیقاً تو کارهای چندمرحله‌ای با ابزاره، نه دانش خام یا ریاضی.
نویسنده چندتا نکته‌ی عملی هم می‌گه: همه‌ی نمره‌ها از خود تیم سازنده‌ست و هنوز تأیید مستقل ندارن. مدل با Transformers و SGLang و vLLM اجرا میشه، کانتکست 512K توکن داره و فرمت tool-call به شکل XML و JSON رو پشتیبانی می‌کنه (XML پیشنهاد تیمه). تنظیمات پیشنهادی هم برای کارهای ایجنتی temperature 1.0 و top_p 0.95 هست و برای استدلال و چت temperature 0.6.
نکات کلیدی:
- از ۱۹ بنچمارک منتشرشده، ۱۴ تاش رو در برابر رقبای حدود ۳۰ میلیاردی برده
- تو Terminal-Bench 4.0 نمره‌ی 23.8 گرفته در برابر 6.3 برای Qwen3.8-27B
- تو SWE-Bench Pro و GDPval به Qwen3.8-27B باخته
- Gemma4-31B تو GPQA Diamond با 91.3 جلوتره
- کانتکست 512K توکن و پشتیبانی از Transformers، SGLang و vLLM
- همه‌ی نمره‌ها از تیم سازنده‌ست و تأیید مستقل ندارن
