‏اجرای IQuest-Q1 روی سرور خودت؛ چی لازم داری؟

این مقاله سراغ سؤال عملی دربارهٔ IQuest-Q1 رفته: اجرای این مدل روی سرور خودت چی لازم داره؟ IQuest-Q1 یه مدل open-weight از نوع Mixture-of-Experts هست (یعنی برای هر توکن فقط بخشی از مدل روشن می‌شه) با حدود ۳۲۰ میلیارد پارامتر کل و حدود ۱۵ میلیارد پارامتر فعال. وزن‌هاش به شکل safetensors تو ۱۷۵ تکه روی Hugging Face منتشر شده و context تا ۵۲۴٬۲۸۸ توکن رو پشتیبانی می‌کنه.

نویسنده روی یه نکتهٔ مهم تأکید می‌کنه: محاسبه با پارامترهای فعال بالا می‌ره، ولی حافظه نه. یعنی باید کل ۳۲۰ میلیارد پارامتر به‌علاوهٔ KV cache (حافظه‌ای که مدل برای توکن‌های قبلی نگه می‌داره) تو GPU جا بشه. با bfloat16 فقط وزن‌ها چند صد گیگابایت می‌شن. برای همین دستورهای رسمی --tp-size 8 تو SGLang و --tensor-parallel-size 8 تو vLLM دارن، یعنی یه نود ۸ کارت گرافیکی. اگه این سخت‌افزار رو نداری، به گفتهٔ نویسنده یا باید GPU ابری اجاره کنی یا منتظر نسخه‌های quantized جامعه بمونی.

برای راه‌اندازی، IQuest ایمیج‌های Docker آماده برای CUDA 13.0 منتشر کرده که بیشتر دردسر نصب وابستگی‌ها رو حذف می‌کنه. بخشی از دستور اجرا با SGLang این شکلیه:

python -u -m sglang.launch_server \
  --model-path "$MODEL_ROOT" \
  --tp-size 8 \
  --dtype bfloat16 \
  --tool-call-parser iquest_q1 \
  --reasoning-parser iquest_q1

پارسرهای iquest_q1 اختیاری نیستن. مدل قالب chat مخصوص خودش رو برای tool call و reasoning داره و یه پارسر معمولی به سبک OpenAI نمی‌تونه خروجی ساخت‌یافته‌ش رو درست دربیاره. هر دو فریم‌ورک یه حالت با MTP هم دارن (یعنی یه لایهٔ کوچیک بازگشتی که ۸ بار اجرا می‌شه و چند توکن جلوتر رو حدس می‌زنه تا مدل اصلی یکجا تأییدشون کنه). این کار سرعت تولید رو بالا می‌بره بدون اینکه کیفیت خروجی عوض بشه.

برای Claude Code نسخهٔ 2.1.140 پیشنهاد شده و با متغیرهایی مثل ANTHROPIC_MODEL درخواست‌ها به alias IQuest-Q1[1m] می‌رن. پسوند [1m] فقط یه برچسبه و طبق model card سقف 512K رو تغییر نمی‌ده. برای Codex CLI نسخهٔ 0.142.0 باید config.toml و model_catalog.json بنویسی و context رو ۵۲۴٬۲۸۸ با آستانهٔ auto-compact حدود ۴۱۹٬۴۳۰ توکن (۸۰ درصد) بذاری. هر دو حالت یه gateway جلوی سرور لازم دارن که فرمت Anthropic Messages یا OpenAI Responses رو به API خود مدل ترجمه کنه.

جمع‌بندی نویسنده اینه که معماری مدل برای سرویس‌دهی کارآمد در مقیاس بزرگ طراحی شده، نه برای اجرای خونگی روی یه GPU. تیم‌هایی که الان زیرساخت چند GPU دارن با ایمیج‌های آماده راحت می‌تونن امتحانش کنن، ولی بقیه بهتره منتظر نسخه‌های quantized بمونن. مدل هم فقط متنی هست و هنوز مرحلهٔ اولیه‌ست.

نکات کلیدی:

• ۳۲۰ میلیارد پارامتر کل، ۱۵ میلیارد فعال، ولی همهٔ وزن‌ها باید تو حافظهٔ GPU باشن
• اجرای رسمی با tensor parallelism هشت‌تایی، یعنی یه نود ۸ GPU
• ایمیج‌های Docker آماده برای SGLang و vLLM روی CUDA 13.0
• پارسرهای اختصاصی iquest_q1 برای tool call و reasoning ضروری‌ان
• پسوند [1m] تو Claude Code سقف 512K رو عوض نمی‌کنه