‏راه‌اندازی مدل هوش مصنوعی محلی با Qwen 3.5-9B

اجرای یه مدل هوش مصنوعی به‌صورت کامل روی دستگاه شخصی — بدون ارسال داده به سرورهای خارجی و بدون نیاز به اینترنت — جذابیت خودش رو داره. نویسنده این مقاله مدت‌هاست داره با مدل‌های محلی (local LLM) آزمایش می‌کنه و بالاخره به یه ست‌آپ قابل استفاده رسیده.

انتخاب مدل کار ساده‌ای نیست. مدل‌هایی مثل Qwen 3.6 Q3، GPT-OSS 20B و Devstral Small 24B از نظر فنی در حافظه جا می‌شن، ولی در عمل غیرقابل استفاده‌ان. Gemma 4B هم روان اجرا می‌شه اما با استفاده از ابزار (tool use) مشکل داره. علاوه بر مدل، باید نرم‌افزار اجراکننده هم انتخاب کنی: Ollama، llama.cpp یا LM Studio — هرکدام محدودیت‌ها و مدل‌های خاص خودشون رو دارن.

برنده نهایی برای نویسنده Qwen 3.5-9B با کوانتایزیشن Q4_K_S هست که روی LM Studio اجرا می‌شه. کوانتایزیشن (Quantization) یعنی کاهش دقت اعداد مدل برای کم‌کردن حجم و مصرف حافظه. این مدل روی مک‌بوک پرو ۲۴ گیگابایتی حدود ۴۰ توکن در ثانیه تولید می‌کنه، از حالت Thinking (استدلال گام‌به‌گام) پشتیبانی می‌کنه، tool use داره و پنجره کانتکست ۱۲۸K رو هم ساپورت می‌کنه.

برای فعال‌کردن حالت Thinking در LM Studio باید تنظیمات مدل رو باز کنی، به تب Inference بری و عبارت {%- set enable_thinking = true %} رو به Prompt Template اضافه کنی. تنظیمات پیشنهادی برای کدنویسی هم اینه: temperature=0.6, top_p=0.95, top_k=20, min_p=0.0.

نویسنده این مدل رو از طریق دو ابزار coding agent استفاده می‌کنه: Pi و OpenCode. برای اتصال Pi به LM Studio، فایل ~/.pi/agent/models.json باید این‌طوری تنظیم بشه:

{
  "providers": {
    "lmstudio": {
      "baseUrl": "http://localhost:1234/v1",
      "api": "openai-completions",
      "apiKey": "lm-studio",
      "models": [
        {
          "id": "qwen3.5-9b@q4_k_s",
          "reasoning": true,
          "compat": { "thinkingFormat": "qwen-chat-template" }
        }
      ]
    }
  }
}

در مقایسه Pi و OpenCode، Pi کمی سریع‌تر به نظر می‌رسه ولی نبود تنظیمات پیش‌فرض منطقی باعث می‌شه وقت زیادی صرف پیکربندی بشه. در کل این ست‌آپ با وجود فاصله‌ای که با مدل‌های ابری SOTA داره، برای کارهای روزمره مثل تحقیق، برنامه‌ریزی و کدنویسی پایه گزینه جالبیه.

نکات کلیدی:

• بهترین مدل آزمایش‌شده: Qwen 3.5-9B با کوانتایزیشن Q4_K_S روی LM Studio
• سرعت: ~۴۰ توکن در ثانیه روی مک‌بوک پرو ۲۴ گیگابایتی
• پشتیبانی از Thinking، tool use و کانتکست ۱۲۸K
• قابل استفاده با ابزارهای Pi و OpenCode
• کاملاً آفلاین، بدون ارسال داده به سرور خارجی