‏IQuest-Q1 رو با SGLang و vLLM بالا بیار

تو این مقاله اومده که IQuest-Q1 یه مدل MoE با ۳۲۰ میلیارد پارامتر از شرکت IQuest ـه که برای کدنویسی agentic و کار چندمرحله‌ای با ابزار ساخته شده. سر هر توکن حدود ۱۵ میلیارد پارامترش فعال می‌شه، چون از ۲۵۶ تا متخصص فقط ۸ تاش روشن می‌شن. ۸۸ لایه داره و پنجره‌ی متنش ۵۲۴٬۲۸۸ توکن ـه.

قبل از شروع چندتا پیش‌نیاز داری. محیطت باید با CUDA 13.0 سازگار باشه، چون تگ ایمیج‌های داکر صراحتاً cu130 ـه. وزن‌ها رو با hf download از مخزن IQuestLab/IQuest-Q1 می‌گیری و اگه speculative decoding می‌خوای، زیرپوشه‌ی mtp رو هم باید بیاری. دستورهای مرجع خود IQuest هم روی ۸ تا GPU با tensor parallelism هشت‌تایی نوشته شدن، پس این یه استقرار دیتاسنتریه نه تک‌کارتی.

مسیر vLLM ساده‌ترینه. بعد از کشیدن ایمیج، سرور رو این‌جوری بالا میاری:

vllm serve "$MODEL_ROOT" \
  --served-model-name IQuest-Q1 \
  --tensor-parallel-size 8 \
  --reasoning-parser iquest_q1 \
  --enable-auto-tool-choice \
  --tool-call-parser iquest_q1

اون دوتا فلگ iquest_q1 مهم‌ترین قسمتن. مدل چت‌تمپلیت خودشو داره و با فرمت عمومی کار نمی‌کنه، پس بدون این پارسرها نه tool call درست استخراج می‌شه نه ریزنینگ. تو SGLang هم همین دوتا فلگ هستن، به اضافه‌ی --attention-backend fa3 برای FlashAttention 3 و --load-format fastsafetensors که لود وزن‌ها رو سریع‌تر می‌کنه.

بخش جذاب‌تر MTP ـه. مدل لایه‌های Multi-Token Prediction داره؛ موقع آموزش ۲ لایه‌ی مستقل و موقع اینفرنس یه لایه‌ی بازگشتی که ۸ بار تکرار می‌شه با پنجره‌ی ۵۱۲ توکنی. این ماژول نقش مدل draft رو تو speculative decoding به سبک EAGLE بازی می‌کنه: به جای اینکه هر بار از کل ۳۲۰ میلیارد پارامتر رد بشی، draft چندتا توکن جلوتر رو حدس می‌زنه و مدل اصلی توی یه پاس دسته‌ای تاییدشون می‌کنه. rejection sampling هم تضمین می‌کنه خروجی از نظر آماری همون خروجی عادی بمونه، فقط سریع‌تر.

برای وصل کردنش به ابزارهای کدنویسی هم راه هست. با Claude Code نسخه‌ی 2.1.140 چندتا متغیر محیطی رو به گیت‌وی مدل اشاره می‌دی و با Codex CLI نسخه‌ی 0.142.0 یه اسکریپت config.toml و model_catalog.json رو بازنویسی می‌کنه. ولی اون اسکریپت sandbox_mode = "danger-full-access" رو هم ست می‌کنه، یعنی سندباکس Codex رو کامل خاموش می‌کنه. نویسنده تاکید می‌کنه که قبل از کپی کردن این تنظیم تو هر محیط جدی، باید حسابی بهش فکر کرد.

نویسنده آخرش صادقانه می‌گه این مدل هنوز اولِ راهه. خود IQuest نوشته که فقط متنیه، روی کارهای واقعی CLI ممکنه تلاش‌های ناموفق رو تکرار کنه یا محدودیت‌ها رو نادیده بگیره، و کدی که تولید می‌کنه حتماً باید بازبینی بشه.

نکات کلیدی:

• ۳۲۰ میلیارد پارامتر کل، حدود ۱۵ میلیارد فعال سر هر توکن، با ۸ متخصص فعال از ۲۵۶ تا
• پنجره‌ی متن ۵۲۴٬۲۸۸ توکن و ۸۸ لایه‌ی ترنسفورمر
• الگوی توجه ترکیبیه: سه لایه sliding-window به ازای هر یک لایه full attention
• ایمیج‌های داکر sglang-iquest-q1:cu130 و vllm-iquest-q1:cu130، هر دو با tensor parallelism هشت‌تایی
• فلگ‌های --tool-call-parser iquest_q1 و --reasoning-parser iquest_q1 اجباری‌ان
• MTP به عنوان مدل draft برای speculative decoding سبک EAGLE با ۵ تا ۶ توکن حدسی استفاده می‌شه
• اسکریپت Codex سندباکس رو با sandbox_mode = "danger-full-access" خاموش می‌کنه
• خود IQuest مدل رو early-stage و فقط متنی معرفی می‌کنه و بازبینی انسانی رو لازم می‌دونه