‏IQuest-Q1، رقیب تازه‌ی DeepSeek-V4

تو این مقاله اومده که IQuest-Q1 یه مدل زبانی open-weight (یعنی وزن‌هاش عمومی منتشر شده) با معماری MoE ـه، یعنی به جای روشن کردن همه‌ی وزن‌ها سر هر توکن، هر توکن رو فقط به چندتا زیرشبکه‌ی متخصص می‌فرسته. در مجموع حدود ۳۲۰ میلیارد پارامتر داره ولی هر توکن از ۸ متخصص از بین ۲۵۶ تا رد می‌شه، پس عملاً ۱۵ میلیارد پارامتر کار می‌کنه. یعنی هزینه‌ی حافظه رو کامل می‌دی ولی هزینه‌ی محاسبه رو نه.

معماریش ۸۸ لایه‌ی ترنسفورمر با بُعد پنهان ۳۰۷۲ ـه، با ۴۸ هد کوئری و ۸ هد کلید/مقدار. نکته‌ی اصلی الگوی توجه ترکیبیشه: به ازای هر یک لایه‌ی full attention، سه لایه sliding-window attention با پنجره‌ی ۴۰۹۶ توکنی. یعنی بیشتر لایه‌ها ارزونن و لایه‌های full attention که هر از گاهی میان، اجازه می‌دن مدل کل متن رو هم ببینه.

کنارش از partial RoPE استفاده شده، یعنی رمزگذاری موقعیت دورانی فقط روی ۳۲ بُعد از هر هد اعمال می‌شه نه روی کل بُعد. این یه ترفند رایج برای بلند کردن پنجره‌ی متنه بدون اینکه مجبور بشی کل مدل رو از نو آموزش بدی، و به گفتهٔ نویسنده احتمالاً همینه که IQuest-Q1 رو به پنجره‌ی ۵۲۴٬۲۸۸ توکنی می‌رسونه.

یه قطعه‌ی دیگه‌ش multi-token prediction ـه، یعنی مدل یاد می‌گیره چند توکن آینده رو با هم حدس بزنه نه فقط توکن بعدی. موقع آموزش ۲ لایه‌ی مستقل MTP داره و موقع اینفرنس به شکل بازگشتی ۸ بار اجرا می‌شه با پنجره‌ی ۵۱۲ توکنی. کاربردش speculative decoding ـه: مدل draft چندتا توکن جلو می‌زنه و مدل اصلی دسته‌ای تاییدشون می‌کنه. برای کار agentic که مدل تولید طولانی داره، این مستقیم روی حس روان بودن جلسه‌ی کدنویسی اثر می‌ذاره.

IQuest مدلش رو مقابل DeepSeek-V4-Flash و DeepSeek-V4-Pro گذاشته، به اضافه‌ی Humanity's Last Exam و یه بنچمارک داخلی به اسم IQuest-CLIBench. نویسنده اما یادآوری می‌کنه که این اعداد منتشرشده‌ی خود سازنده‌ست و انتخاب harness خودش نتیجه رو جابه‌جا می‌کنه؛ برای بعضی تسک‌ها mini-SWE-agent و برای بقیه Claude Code استفاده شده. چون مدل ورودی تصویری نمی‌گیره، محتوای تصویری تو مکالمه‌های agent با placeholder جایگزین می‌شه که برای بازتولید نتایج نکته‌ی مهمیه.

برای اجرا، وزن‌ها به شکل safetensors تو ۱۷۵ فایل روی Hugging Face هستن و IQuest دو مسیر SGLang و vLLM رو با ایمیج داکر آماده پیشنهاد می‌ده. یکپارچگی با Claude Code نسخه‌ی 2.1.140 و Codex CLI نسخه‌ی 0.142.0 هم مستنده. فقط حواست باشه که کانفیگ نمونه‌ی Codex، approval_policy = "never" و sandbox_mode = "danger-full-access" رو ست می‌کنه و عملاً گاردریل‌های امنیتی رو برمی‌داره. نویسنده می‌گه این دوتا رو نباید کورکورانه کپی کرد.

نکات کلیدی:

• ۳۲۰ میلیارد پارامتر کل، حدود ۱۵ میلیارد فعال، با ۸ متخصص فعال از ۲۵۶ تا
• ۸۸ لایه، بُعد پنهان ۳۰۷۲، ۴۸ هد کوئری و ۸ هد کلید/مقدار با بُعد هد ۱۲۸
• الگوی توجه سه لایه SWA با پنجره‌ی ۴۰۹۶ به ازای هر یک لایه full attention
• partial RoPE فقط روی ۳۲ بُعد اعمال می‌شه و پنجره‌ی متن ۵۲۴٬۲۸۸ توکنه
• MTP با ۲ لایه موقع آموزش و اجرای بازگشتی ۸ باره موقع اینفرنس، با پنجره‌ی ۵۱۲ توکنی
• وزن‌ها تو ۱۷۵ فایل safetensors روی Hugging Face، با ایمیج داکر SGLang و vLLM
• یکپارچگی رسمی با Claude Code 2.1.140 و Codex CLI 0.142.0 از طریق گیت‌وی
• محدودیت‌ها: فقط ورودی متنی، خروجی ممکنه اشتباه باشه و روی کارهای واقعی CLI نیاز به نظارت انسانی داره