‏تست واقعی Nanbeige 4.3 33B: نمودارها یه چیز می‌گن، عمل یه چیز دیگه

Nanbeige 4.3 33B یه مدل dense با ۳۳ میلیارد پارامتره که تیم Nanbeige LLM Lab (بخش تحقیقات هوش مصنوعی Boss Zhipin) با لایسنس Apache 2.0 روی Hugging Face منتشرش کرده. این مدل نقش مدل «معلم» رو داره، یعنی قراره بعداً با distillation (یعنی آموزش مدل کوچیک‌تر از روی خروجی مدل بزرگ‌تر) نسخه‌های کوچیک‌تر مثل یه مدل 3B ازش ساخته بشه. سازنده‌ها ادعا می‌کنن به سطح Claude نزدیکه.

طبق جدول خود سازنده، این مدل تو بیشتر بنچمارک‌های کدنویسی ایجنتی از Qwen3.8-27B و Muse-Glimmer-30B و Gemma4-31B جلوتره. مثلاً تو Terminal-Bench 2.1 نمره‌ش 80.9 هست در برابر 73.0 برای Qwen، و تو DeepSWE به 65.5 می‌رسه. فقط تو SWE-Bench Pro (61.7 در برابر 60.3) و GDPval عقب می‌مونه.

تو مقاله اومده که Farhat Mirza یه تست واقعی طراحی کرده: سیستم هزینه‌یابی آشپزخونه‌ی یه رستوران خیالی، باگی تو محاسبه‌ی yield گوشت داشت (یعنی چند درصد گوشت بعد از تمیزکاری باقی می‌مونه). مثلاً برای یه پرس ۲۲۰ گرمی ران والابی با yield 46 درصد، باید حدود ۴۷۸ گرم گوشت خام خرید، ولی سیستم فقط ۱۰۱ گرم حساب می‌کرد. مدل بعد از بیشتر از یه ساعت فکر کردن، ۱۴ تا ۱۵ «باگ» بی‌ربط گزارش داد و باگ اصلی رو پیدا نکرد.

تست دوم خیلی ساده‌تر بود: یه فایل HTML تکی با پرچم‌های کاغذی که تکون می‌خورن و چندتا کبوتر متحرک. مدل ۴۵ دقیقه بیشتر وقتش رو تو حالت thinking گذروند و آخرش به سقف توکن خروجی خورد، بدون اینکه فایلی تحویل بده.

از نظر سخت‌افزار هم سبک نیست: اجرا با vLLM تو کانتکست کامل نزدیک ۸۸ گیگابایت VRAM لازم داشت و حتی با کانتکست کوتاه‌تر حدود ۶۰ تا ۶۲ گیگ لازمه. نویسنده معتقده این مدل احتمالاً تو کارهای ساختاریافته‌ای که شبیه همون بنچمارک‌هاست خوبه، ولی هنوز جایگزین قابل اعتمادی برای مدل‌های بسته‌ی سطح بالا تو دیباگ واقعی نیست.

نکات کلیدی:

• مدل dense با ۳۳ میلیارد پارامتر، لایسنس Apache 2.0 و کانتکست 512K توکن
• تو Terminal-Bench 2.1 نمره‌ی 80.9 و تو DeepSWE نمره‌ی 65.5 گرفته
• تو تست دیباگ واقعی بعد از بیشتر از یه ساعت، ۱۴ تا ۱۵ باگ اشتباه گزارش داد و باگ اصلی رو ندید
• تسک انیمیشن HTML ساده بعد از ۴۵ دقیقه به سقف توکن خورد و تموم نشد
• اجرای محلی با vLLM حدود ۸۸ گیگابایت VRAM در کانتکست کامل لازم داشت