‏اجرای لوکال MiniCPM-V 4.7 1B با Ollama و llama.cpp

MiniCPM-V 4.7 1B یه مدل vision-language (یعنی مدلی که عکس می‌بینه و متن تولید می‌کنه) با یک میلیارد پارامتر از OpenBMB هست. این نسخهٔ کوچیک‌تر مدل 35B-A3B همین خانواده‌ست و برای یه کارت گرافیک معمولی، لپ‌تاپ یا حتی گوشی طراحی شده. عکس تکی، چندتا عکس و ویدیو رو قبول می‌کنه.

ساده‌ترین راه نصب Ollama هست: بعد از نصب Ollama، دانلود و اجرای مدل فقط یه دستوره و وزن‌ها با فرمت GGUF (فرمت فشرده برای اجرای لوکال) خودکار دانلود می‌شن. نویسنده می‌گه Ollama زیر کاپوت از llama.cpp استفاده می‌کنه، پس موتورش تقریباً همونه ولی رابطش راحت‌تره.

اگه کنترل بیشتری بخواید، llama.cpp رو مستقیم استفاده کنید. اینجا هم با یه دستور مدل دانلود و اجرا می‌شه، ولی پارامترهایی مثل اندازهٔ context، batch size و KV cache (حافظه‌ای که مدل برای نگه‌داشتن کانتکست رزرو می‌کنه) دست خودتونه. یعنی اگه کارتتون کوچیکه، می‌تونید مدل رو جا بدید. OpenBMB چند سطح کوانتیزه‌سازی هم منتشر کرده، پس اگه VRAM اضافه دارید می‌تونید نسخهٔ دقیق‌تری بگیرید.

تو تست روی اوبونتو با یه کارت ۴۸ گیگی، مدل از طریق llama.cpp کمی بیشتر از ۵ گیگابایت VRAM مصرف کرد. با کم کردن KV cache این عدد پایین‌تر هم میاد، البته به قیمت context کوتاه‌تر. مدل یه حالت coarse و fine هم داره و طبق جدول‌های سازنده، حالت ارزون‌تر «16x» کیفیتش به حالت دقیق‌تر «4x» نزدیکه.

طبق نمودار خود OpenBMB، این مدل از Qwen 0.8B هم سریع‌تره هم امتیاز بالاتری داره و با Qwen 2B instruct هم‌سطحه. تو تست عملی، ساعت عقربه‌ای رو درست خوند (حدود ۱۰:۱۰)، از روی عکس یه ساعت کد شبیه‌سازش رو نوشت و یه مسئلهٔ ریاضی رو با فرمول رأس درست حل کرد. ولی یادداشت دست‌نویس رو قاطی خوند، ترجمه به بیش از ۸۰ زبون رو عملاً انجام نداد و از یه پرامپت چهاربخشی فقط یه بخش رو جواب داد.

نکات کلیدی:

• نصب با یه دستور در Ollama یا llama.cpp، با وزن‌های GGUF
• مصرف حدود ۵ گیگابایت VRAM، با کم کردن KV cache کمتر هم می‌شه
• llama.cpp کنترل context، batch size و KV cache رو می‌ده
• طبق نمودار OpenBMB، جلوتر از Qwen 0.8B و هم‌سطح Qwen 2B instruct
• برای ترجمه، دست‌خط و کارهای چندمرحله‌ای، نسخهٔ 35B-A3B گزینهٔ بهتریه