‏Colibri 2.1: اجرای DeepSeek و Qwen روی یه کارت گرافیک

Colibri یه ابزار inference محلی (یعنی اجرای مدل روی سیستم خودت) برای مدل‌های MoE هست. MoE یعنی مدلی که از صدها «expert» یا زیرشبکه تشکیل شده و یه router برای هر token فقط چندتاشون رو فعال می‌کنه. Colibri از همین ویژگی استفاده می‌کنه: expertهای پرکاربرد رو تو VRAM نگه می‌داره، بخش‌های همیشگی و یه کش رو تو رم، و بقیه رو روی دیسک. هر expert لازم شد، از هرجا که هست میاره. یعنی دیگه برای مدل‌های بزرگ لازم نیست سرور چند GPU بخری.

موقع شروع، Colibri سخت‌افزار (CPU، رم، سرعت دیسک و GPU) رو اسکن می‌کنه و یه placement plan می‌سازه که مشخص می‌کنه چندتا expert کجا برن. تو اجرای Qwen 3.6، این پلن حدود ۲۵۱۲۷ expert به‌علاوه ۴۰ لایه وزن ثابت (حدود 4.9GB) رو روی بودجه 44.2GB از VRAM گذاشت و یه کش 74.1GB هم تو رم کنار گذاشت.

نسخه 2.1 دو تغییر اصلی داره. اول، فایل‌های GGUF (فرمت رایج مدل‌های کوانتیزه‌شده) حالا همون‌طور که منتشر شدن اجرا می‌شن و دیگه تبدیل یا کوانتیزه کردن دوباره لازم نیست. تو دمو، یه نسخه کوانتیزه از مدل Flint با یه دستور import شد. دوم، یه رابط چت جدید با «expert map» زنده اومده که نشون می‌ده کدوم expertها دارن کار می‌کنن. سبز یعنی تو GPU، آبی یا خاکستری یعنی تو رم یا دیسک. پروفایلینگ هر نوبت هم زمان رو بین I/O، محاسبه expert و attention تفکیک می‌کنه.

روی یه کارت 48GB با حدود 94GB رم، Qwen 3.6 (۲۵۶ expert، ۴۰ لایه، حدود 23GB) کامل تو VRAM جا شد و حدود 88.6 token در ثانیه سرعت داد، بدون هیچ I/O دیسک. تو یه تست دیگه، Qwen 3.6، Flint و یه DeepSeek کوانتیزه حدود 85GB هم‌زمان بالا اومدن و کل مصرف VRAM زیر 24GB موند. البته DeepSeek به‌وضوح کندتر بود، چون بیشترش باید از رم و دیسک خونده می‌شد.

نویسنده تأکید می‌کنه که پشتیبانی GGUF یعنی هر مدل جدیدی خودبه‌خود کار نمی‌کنه. معماری‌های تازه هنوز کار سمت موتور از تیم Colibri می‌خوان. ولی برای معماری‌های جاافتاده مثل Qwen MoE و DeepSeek، به گفته مقاله، اجرای مدل‌های باز در این اندازه روی سخت‌افزار معمولی حالا واقعاً شدنیه.

نکات کلیدی:

• Colibri مدل MoE رو بین سه لایه VRAM، رم و دیسک تقسیم می‌کنه
• نسخه 2.1 فایل GGUF رو بدون تبدیل و با یه دستور import اجرا می‌کنه
• Qwen 3.6 روی کارت 48GB حدود 88.6 token در ثانیه داد
• سه مدل هم‌زمان (شامل DeepSeek حدود 85GB) با کمتر از 24GB VRAM اجرا شدن
• هرچی سهم بیشتری از مدل بیرون VRAM باشه، سرعت پایین‌تره
• معماری‌های جدید هنوز پشتیبانی جدا از سمت موتور لازم دارن