‏راه‌اندازی مدل هوش مصنوعی محلی با Qwen 3.5-9B

اجرای یه مدل هوش مصنوعی به‌صورت کامل روی دستگاه شخصی — بدون ارسال داده به سرورهای خارجی و بدون نیاز به اینترنت — جذابیت خودش رو داره. نویسنده این مقاله مدت‌هاست داره با مدل‌های محلی (local LLM) آزمایش می‌کنه و بالاخره به یه ست‌آپ قابل استفاده رسیده.

انتخاب مدل کار ساده‌ای نیست. مدل‌هایی مثل Qwen 3.6 Q3، GPT-OSS 20B و Devstral Small 24B از نظر فنی در حافظه جا می‌شن، ولی در عمل غیرقابل استفاده‌ان. Gemma 4B هم روان اجرا می‌شه اما با استفاده از ابزار (tool use) مشکل داره. علاوه بر مدل، باید نرم‌افزار اجراکننده هم انتخاب کنی: Ollama، llama.cpp یا LM Studio — هرکدام محدودیت‌ها و مدل‌های خاص خودشون رو دارن.