‏IQuest-Q1؛ مدل متن‌باز MoE برای کدنویسی ایجنتی

شرکت IQuest مدل IQuest-Q1 رو روی Hugging Face منتشر کرده؛ یه مدل open-weight از نوع Mixture-of-Experts (MoE)، یعنی مدلی که برای هر توکن فقط چندتا از زیرشبکه‌هاش (expert) رو روشن می‌کنه. کل مدل حدود ۳۲۰ میلیارد پارامتر داره، ولی از ۲۵۶ expert فقط ۸ تا برای هر توکن فعال می‌شن و این یعنی حدود ۱۵ میلیارد پارامتر فعال. نتیجه‌ش اینه که هزینهٔ اجرا به یه مدل متوسط نزدیک‌تره ولی ظرفیت کل مدل بزرگ می‌مونه.

معماری مدل ۸۸ لایه داره و از grouped-query attention با ۴۸ query head و ۸ key/value head استفاده می‌کنه. نکتهٔ جالبش الگوی attention ترکیبیه: به ازای هر یه لایهٔ full attention، سه لایهٔ sliding-window attention داره (یعنی هر لایه فقط یه پنجرهٔ ۴۰۹۶ توکنی اطرافش رو نگاه می‌کنه). همراه با partial RoPE روی ۳۲ بُعد، این ترفند اجازه می‌ده context تا ۵۲۴٬۲۸۸ توکن (512K) بره بالا بدون اینکه هزینهٔ محاسبه همه‌جا منفجر بشه.

برای سرعت بیشتر، مدل از multi-token prediction (MTP) استفاده می‌کنه، یعنی یه ماژول کوچیک چند توکن جلوتر رو حدس می‌زنه و مدل اصلی اونا رو یکجا تأیید می‌کنه. موقع آموزش دو لایهٔ MTP مستقل داره، ولی موقع inference یه ماژول بازگشتی ۸ بار اجرا می‌شه. این با speculative decoding به سبک EAGLE تو SGLang و vLLM جفت شده. نویسنده می‌گه بیشتر افزایش سرعت واقعی از ترکیب همین سه تا (MoE، attention ترکیبی و MTP) میاد.

IQuest این مدل رو مستقیم با DeepSeek-V4-Flash و DeepSeek-V4-Pro مقایسه کرده؛ روی بنچمارک‌هایی مثل CyberGym، Terminal-Bench 2.1، Humanity's Last Exam، Agents' Last Exam و یه بنچمارک داخلی به اسم IQuest-CLIBench که تجربهٔ کار با CLI رو می‌سنجه. سقف زمان اجرا برای CyberGym شش ساعت و برای Terminal-Bench هشت ساعت بوده، یعنی تمرکز روی کارهای طولانی و چندمرحله‌ایه. چون مدل فقط متن می‌فهمه، محتوای تصویری تو تست‌ها با placeholder عوض شده.

برای اجرا، دو backend پیشنهاد شده: SGLang و vLLM با ایمیج‌های Docker آماده برای CUDA 13.0 و tensor parallelism هشت‌تایی. برای Claude Code (نسخهٔ 2.1.140) کافیه با متغیرهای محیطی همهٔ مدل‌ها رو به IQuest-Q1[1m] هدایت کنی و برای Codex CLI (نسخهٔ 0.142.0) باید config.toml و model_catalog.json بنویسی. نویسنده هشدار می‌ده که این تنظیمات پیش‌فرض، تأیید دستورها رو خاموش می‌کنن و دسترسی کامل sandbox می‌دن که برای استفادهٔ واقعی باید سخت‌گیرانه‌ترش کنی.

به گفتهٔ نویسنده، خود model card خیلی صادقانه می‌گه مدل هنوز «early stage» هست و ممکنه محدودیت‌ها رو نادیده بگیره، تلاش‌های ناموفق رو تکرار کنه یا مشکل رو حل‌نشده ول کنه. پس این مدل بیشتر به درد تیم‌هایی می‌خوره که می‌خوان یه جایگزین self-host برای کار ایجنتی داشته باشن و حاضرن خودشون ارزیابیش کنن، نه یه جایگزین آماده برای production.

نکات کلیدی:

• حدود ۳۲۰ میلیارد پارامتر کل، حدود ۱۵ میلیارد فعال برای هر توکن (۸ expert از ۲۵۶)
• context تا ۵۲۴٬۲۸۸ توکن با الگوی ۳ لایهٔ sliding-window به ۱ لایهٔ full attention
• MTP بازگشتی با speculative decoding به سبک EAGLE تو SGLang و vLLM
• سازگار با Claude Code 2.1.140 و Codex CLI 0.142.0
• فقط متنیه و سازنده‌ش اون رو مرحلهٔ اولیه و نیازمند نظارت انسانی می‌دونه