‏اجرای لوکال Nanbeige4.3-33B: مدل معلم برای کدنویسی ایجنتی

این مقاله توضیح می‌ده چطور می‌شه Nanbeige4.3-33B رو لوکال اجرا کرد. این مدل اوپن‌ویت (یعنی وزن‌هاش رو می‌شه دانلود کرد) ۳۳ میلیارد پارامتر داره و برای کدنویسی ایجنتی و کارهای اداری ساخته شده. مدل‌کارتش اونو یه مدل «معلم» معرفی می‌کنه، یعنی قراره ازش برای distillation (آموزش یه مدل کوچیک‌تر با خروجی‌های مدل بزرگ‌تر) استفاده بشه. نسخهٔ ۳B هم تو برنامه‌ست.

کانتکست مدل تا ۵۲۴,۲۸۸ توکن (512K) هست، یعنی می‌تونه یه کدبیس کامل یا تاریخچهٔ طولانی ابزارها رو تو یه سشن نگه داره. نویسنده می‌گه همین باعث می‌شه API‌های پولی سریع گرون بشن و اجرای لوکال منطقی‌تر باشه. تازه کنترل کامل پارسرها، کش و دما هم دست خودته. برای تیم‌هایی که دارن مدل کوچیک‌تر distill می‌کنن هم دسترسی محلی به مدل کامل خیلی به‌دردبخوره.

سه راه برای اجرا هست. Transformers برای تست سریع؛ توکنایزر با use_fast=False و trust_remote_code=True لود می‌شه و مدل با device_map='auto':

model_id = 'Nanbeige/Nanbeige4.3-33B'
model = AutoModelForCausalLM.from_pretrained(
  model_id,
  torch_dtype='auto',
  device_map='auto',
  trust_remote_code=True
)

برای سرویس‌دهی جدی، SGLang و vLLM پیشنهاد می‌شن. مثال‌های رسمی مدل رو با tensor parallelism روی ۴ تا GPU پخش می‌کنن و ۸۰ درصد حافظهٔ GPU رو رزرو می‌کنن. هر دو از --reasoning-parser qwen3 و --tool-call-parser qwen3_coder استفاده می‌کنن، چون فرمت چت مدل شبیه خانوادهٔ Qwen3ـه. vLLM یه فلگ اضافه --enable-auto-tool-choice داره که خودش تشخیص می‌ده کِی ابزار صدا زده بشه. هر دو یه API سازگار با OpenAI بالا میارن.

chat template سه تا تنظیم مهم داره. enable_thinking تولید استدلال رو روشن یا خاموش می‌کنه (پیش‌فرض روشنه). preserve_thinking تعیین می‌کنه استدلال نوبت‌های قبلی تو کانتکست بمونه یا نه؛ برای چت معمولی False و برای ایجنت‌ها True توصیه شده، و بنچمارک‌ها هم با true گرفته شدن. پارامتر tools هم مدل رو می‌بره تو حالت ابزار، و فرمت XML از JSON دقیق‌تره.

طبق جدول خود سازنده، مدل تو Terminal-Bench، DeepSWE و SkillsBench از Qwen3.8-27B، Muse-Glimmer-30B و Gemma4-31B جلوتره (مثلاً ۶۵.۵ در برابر ۴۲.۵ تو DeepSWE). ولی Qwen3.8-27B تو SWE-Bench Pro و GDPval جلوتره و Gemma4-31B تو GPQA Diamond. نویسنده تأکید می‌کنه این‌ها عددهای خود سازنده‌ست و باید با احتیاط دیدشون.

نکات کلیدی:

• کانتکست ۵۲۴,۲۸۸ توکنی (512K) بدون تنظیم اضافه، فقط حافظهٔ کافی برای KV cache لازمه
• برای کارهای ایجنتی: temperature 1.0، top_p 0.95 و تا ۶۵,۵۳۶ توکن خروجی
• برای استدلال و چت: temperature 0.6، top_p 0.95 و تا ۲۶۲,۱۴۴ توکن خروجی
• فرمت tool_call_format="xml" بهترین دقت رو تو صدا زدن ابزار داره و JSON فقط برای سازگاری هست
• مثال‌های رسمی SGLang و vLLM مدل رو روی ۴ تا GPU با ۸۰ درصد حافظه اجرا می‌کنن