‏اجرای مدل Spark-X2.6-4B روی سیستم خودت

Spark-X2.6-4B یه مدل ۴ میلیارد پارامتری با لایسنس Apache 2.0 از تیم SparkLLM هست. همون معماری Spark-X2.5-4B رو داره، ولی با داده و روش آموزش بهتر دوباره post-train شده. هدفش ایجنت‌های روی دستگاهه، یعنی کدنویسی، tool calling و کارهای با context طولانی. به گفته‌ی بنچمارک‌های منتشرشده، تو بعضی کارهای ایجنتی و کدنویسی به مدل‌های ۹ میلیاردی می‌رسه یا ازشون جلو می‌زنه، ولی هزینه‌ی اجراش در حد مدل‌های ۴B مثل Qwen3.5-4B و Gemma-E4B می‌مونه.

ساده‌ترین راه Ollama (نسخه‌ی 0.34.1 به بعد) هست. با یه دستور مدل دانلود می‌شه و یه چت باز می‌شه، و کوانتیزه کردن و مدیریت حافظه رو خود Ollama انجام می‌ده:

ollama run SparkLLM/Spark-X2.6-4B

اگه رابط گرافیکی می‌خوای، LM Studio نسخه‌ی 0.4.0 به بعد هم مدل رو داره و می‌شه از داخل برنامه یا با CLI به اسم lms باهاش کار کرد. برای کنترل بیشتر روی کوانتیزه کردن و طول context، می‌شه مستقیم سراغ llama.cpp رفت که پایه‌ی Ollama و LM Studio هست. برای پشتیبانی از این خانواده‌ی مدل، build شماره‌ی b10828 یا جدیدتر لازمه. دستور llama serve هم یه سرور سازگار با API اوپن‌ای‌آی بالا میاره.

نویسنده MLX (یعنی فریم‌ورک یادگیری ماشین اپل) رو هم پیشنهاد می‌کنه. پروژه‌ی Spark-MLX-LLM چک‌پوینت اصلی Hugging Face رو مستقیم اجرا می‌کنه و لازم نیست به GGUF (یعنی فرمت فایل مدل مخصوص llama.cpp) تبدیلش کنی. این تبدیل می‌تونه کیفیت رو کم کنه. با وجود اسمش، این پروژه علاوه بر Apple silicon روی CPU لینوکس و CUDA انویدیا هم کار می‌کنه.

برای سرویس دادن واقعی پشت یه API، vLLM و SGLang گزینه‌های مناسب‌ترن. هر دو ایمیج Docker رسمی برای GPUهای انویدیا و نسخه برای NPUهای Ascend دارن و endpoint سازگار با اوپن‌ای‌آی می‌دن. تو تنظیمات نمونه‌ی SGLang، طول context تا ۱,۰۴۸,۵۷۶ توکن تعیین شده، البته به شرطی که حافظه‌ی کافی داشته باشی. نویسنده می‌گه این مسیر برای آزمایش شخصی زیادیه، ولی برای سرویسی که درخواست همزمان یا context طولانی داره منطقیه.

یه ویژگی جالب مدل thinking budget قابل کنترلـه، یعنی می‌تونی برای هر درخواست تعیین کنی مدل قبل از جواب چقدر فکر کنه. سه سطح none، low و high داره. برای یه دسته‌بندی ساده فکر کردن رو خاموش می‌کنی تا سریع‌تر بشه، و برای کدنویسی چندمرحله‌ای سطح high رو می‌ذاری. تو vLLM و SGLang این کار با پارامتر "chat_template_kwargs": {"enable_thinking": false} انجام می‌شه. برای fine-tune هم تیم SparkLLM ابزار Llama-Factory رو پیشنهاد می‌کنه.

نکات کلیدی:

• Spark-X2.6-4B یه مدل ۴ میلیارد پارامتری با لایسنس Apache 2.0 برای کارهای ایجنتیه.
• Ollama از نسخه‌ی 0.34.1 و LM Studio از نسخه‌ی 0.4.0 این مدل رو اجرا می‌کنن.
• llama.cpp برای این مدل به build شماره‌ی b10828 یا جدیدتر نیاز داره.
• Spark-MLX-LLM بدون تبدیل به GGUF روی Apple silicon، CPU لینوکس و CUDA اجرا می‌شه.
• SGLang می‌تونه context تا ۱,۰۴۸,۵۷۶ توکن رو با حافظه‌ی کافی پشتیبانی کنه.
• thinking budget سه سطح none، low و high داره و برای هر درخواست جدا تنظیم می‌شه.