‏مینی‌سی‌پی‌ام۵-۲B: مدل ۲ میلیاردی که مثل بزرگ‌ترها فکر می‌کنه

MiniCPM5-2B آخرین نسخه از سری MiniCPM هست، مدل‌های کوچیک و کارآمدی که ModelBench (یه شرکت مستقر تو پکن و منشعب از آزمایشگاه NLP دانشگاه تسینگهوا) چند ساله منتشر می‌کنه. ادعای اصلی اینه که این مدل ۲ میلیاردی تو رده زیر ۳ میلیارد پارامتر، عملکرد سرآمد داره؛ چیزی که وزن‌هاش فقط حدود ۴ گیگ حافظه گرافیکی می‌خوان، پس یکی از دردسترس‌ترین مدل‌های محلی «جدی»یه برای آزمایش، مخصوصاً برای کسایی که رو فریم‌ورک‌های عامل یا اجرای لبه‌ای کار می‌کنن.

راحت‌ترین راه اجرا، سرو کردن مدل با SGLang روی یه ماشین لینوکسیه؛ SGLang خودش دانلود وزن‌ها رو انجام می‌ده و یه API سازگار با OpenAI بیرون می‌ده. برای کسایی که GPU محلی ندارن، اجاره GPU ابری یه راه معموله. برای اجرا رو CPU یا لپ‌تاپ هم llama.cpp با نسخه‌های GGUF کوانتیزه‌شده گزینه معموله، که به‌مرور تو ابزارهایی مثل Ollama و LM Studio هم در دسترس قرار می‌گیره.

وزن‌های خام مدل فقط حدود ۴ گیگ حافظه گرافیکی لازم دارن، که این رو کاملاً تو دسترس GPUهای مصرفی می‌ذاره. نکته اینه که وقتی با تنظیمات پیش‌فرض SGLang و کش KV کامل اجرا بشه، مصرف کل می‌تونه تا حدود ۴۴ گیگ رو یه کارت ۴۸ گیگی بره. این عدد ترسناکه ولی یه انتخاب تنظیماته نه یه نیاز واقعی؛ کوچیک‌کردن کش KV مصرف حافظه رو دوباره به همون سطح وزن‌های مدل نزدیک می‌کنه، فقط با پنجره کانتکست کوتاه‌تر.

آموزش مدل سه مرحله داشته: پایه، میانی و پس‌آموزش، با سرمایه‌گذاری زیاد رو کیفیت داده تو هر مرحله. بخش جالب‌تر، مرحله آخر پس‌آموزشه: تیم مدل‌های معلم جداگانه برای ریاضی، کد، کارهای عاملی و نوشتن آموزش داده و بعد این توانایی‌ها رو با روش تقطیر آن-پالیسی (OPD) تو یه مدل یکپارچه ادغام کرده. طبق آمار گزارش‌شده، همین مرحله تنها حدود ۱۱ امتیاز رو بنچمارک‌های استدلال و حدود ۷ امتیاز رو تسک‌های عاملی اضافه کرده.

تو تست عملی، مدل یه باگ سخت تو یه کوئری Oracle SQL با خطای مرزی پارتیشن رو بعد یه زنجیره استدلال طولانی درست تشخیص داده، چیزی که خیلی از مدل‌های بزرگ‌تر رو هم گیر می‌ندازه. تو یه سؤال تاریخی درباره معاهده نرچینسک هم هم زبان مذاکره (لاتین) و هم روش مذاکره (از طریق مترجم‌های یسوعی) رو درست جواب داده. نتیجه برجسته‌تر یه تست کدنویسی بود: ساخت یه صفحه HTML خودکفا با یه کباب دونر چرخان روی آتیش، با استایل، انیمیشن و جزئیات بصری قانع‌کننده برای یه مدل ۲ میلیاردی.

نقطه ضعف، ترجمه بین‌زبانی بود؛ وقتی از مدل خواسته شد کلمات محبت‌آمیز رو تو چند زبان مختلف بسازه، خیلی از جواب‌ها ساختگی یا غلط بودن و فقط تعداد کمی مثل هندی درست دراومدن. این نشون می‌ده قدرت استدلال و کدنویسی مدل لزوماً به کارهای چندزبانه یا فرهنگی منتقل نمی‌شه.

نکات کلیدی:

• وزن‌های MiniCPM5-2B حدود ۴ گیگ حافظه گرافیکی لازم دارن ولی کش KV پیش‌فرض SGLang می‌تونه مصرف رو تا ۴۴ گیگ ببره.
• مرحله پس‌آموزش با تقطیر آن-پالیسی (OPD) حدود ۱۱ امتیاز رو استدلال و ۷ امتیاز رو تسک‌های عاملی اضافه کرده.
• مدل یه باگ پارتیشن تو یه کوئری Oracle SQL پیچیده رو درست تشخیص داده.
• تو ساخت یه انیمیشن HTML/CSS/JS از کباب دونر، نتیجه بصری قانع‌کننده‌ای تولید کرده.
• ترجمه اصطلاحات محبت‌آمیز بین زبان‌های مختلف نقطه ضعف اصلی مدل بوده.