‏چقدر VRAM برای اجرای NeoHorse-1-4B لازمه؟

اگه بخوای NeoHorse-1-4B رو روی سیستم خودت بالا بیاری، اول باید ببینی سخت‌افزارت از پسش برمیاد یا نه. این مدل ۴ میلیارد پارامتری رو TokenRhythm روی پایهٔ Qwen3.5-4B ساخته و برای کارای عامل‌محور مثل ابزارگیری، کدنویسی و پیروی از دستورات تنظیم کرده. وزن‌ها با فرمت BF16 (یعنی هر پارامتر ۲ بایت جا می‌گیره) عرضه شدن که رو هم رفته حدود ۸ گیگابایت می‌شن.

برای همین، حداقل چیزی که لازم داری یه کارت گرافیک ۸ گیگابایتیه، ولی چون کش KV (حافظه‌ای که مدل برای نگه داشتن مکالمه استفاده می‌کنه) هم فضا می‌خواد، یه کارت ۱۲ تا ۱۶ گیگابایتی راحت‌تره. اجرا روی CPU هم با ۱۶ گیگابایت رم یا بیشتر ممکنه ولی خیلی کندتره، مخصوصاً اگه بخوای از کانتکست طولانی استفاده کنی. کوانتایز کردن به ۸ یا ۴ بیت (با ابزارایی مثل GGUF یا AWQ) می‌تونه مصرف حافظه رو نصف یا کمتر کنه، هرچند یه‌کم کیفیت خروجی رو پایین میاره.

نکتهٔ مهم‌تر طول کانتکسته: پیش‌فرض مدل ۲۶۲هزار توکنه، یعنی چیزی حدود چند صد صفحه متن رو یه‌جا می‌تونه پردازش کنه، بدون اینکه لازم باشه متن رو تیکه‌تیکه بدی. به گفتهٔ سازنده، معماری تا حدود یک میلیون توکن هم قابل گسترشه، ولی این کار به تنظیمات خاصی تو نرم‌افزار اجرا نیاز داره و حافظهٔ بیشتری هم می‌طلبه چون کش KV با طول متن بزرگ‌تر می‌شه.

روی بنچمارک‌های عامل‌محور، NeoHorse-1-4B میانگین ۶۴.۸۷ گرفته در مقابل ۵۸.۹۴ مدل پایه Qwen3.5-4B، یعنی بهبود محسوسی تو کارای ابزارگیری داشته. اگه پروژه‌ت حول محور ساخت ایجنت یا پردازش سندهای طولانیه، این ترکیب سایز کوچیک و کانتکست بزرگ گزینهٔ جذابیه؛ ولی اگه دنبال یه دستیار چت عمومی در حد مدل‌های بزرگ‌تری، این مدل جواب‌گو نیست.

نکات کلیدی:

• وزن‌های BF16 حدود ۸ گیگابایت حجم دارن؛ برای اجرای راحت یه کارت ۱۲ تا ۱۶ گیگابایتی پیشنهاد می‌شه
• کانتکست پیش‌فرض ۲۶۲,۱۴۴ توکنه و تا ~۱ میلیون توکن قابل گسترشه
• کوانتایز به ۸ یا ۴ بیت مصرف حافظه رو نصف یا بیشتر کم می‌کنه
• روی بنچمارک‌های عامل‌محور ۵.۹۳ نمره بهتر از مدل پایه Qwen3.5-4B عمل کرده
• لایسنس مدل Apache 2.0 هست، یعنی استفادهٔ تجاری هم آزاده