اجرای Kimi K3.1 Pro روی سخت‌افزار شخصی؛ چقدر حافظه لازمه؟
هوش مصنوعیخلاصهٔ کامل‌تر
Kimi K3.1 Pro مدل اوپن‌ویت جدید Moonshot AI هست که متن و تصویر رو با هم می‌فهمه و برای کارهای agentic ساخته شده. معماریش MoE هست (یعنی مدل از کلی «متخصص» کوچیک ساخته شده و برای هر توکن فقط چندتاشون فعال می‌شن). کل پارامترها ۲.۸ تریلیونه ولی برای هر توکن فقط ۱۰۴ میلیارد پارامتر کار می‌کنه. پنجرهٔ متنیش هم ۱,۰۴۸,۵۷۶ توکنه. این مقاله بررسی می‌کنه که اجرای این مدل روی سخت‌افزار خودت عملاً چی لازم داره.
طبق model card، مدل ۸۹۶ متخصص داره و برای هر توکن ۱۶ تا به‌علاوهٔ ۲ متخصص مشترک انتخاب می‌شن؛ یعنی حدود ۳.۷ درصد پارامترها در هر قدم فعالن. از ۹۳ لایه، فقط یکی dense هست؛ ۶۹ لایه از KDA (Kernelized Dynamic Attention) و ۲۴ لایه از Gated DSA استفاده می‌کنن. Moonshot می‌گه این تغییر برای ارزون‌تر کردن پردازش متن‌های خیلی بلنده. یه vision encoder با ۴۰۱ میلیون پارامتر به اسم MoonViT-V2 هم کنارش هست.
نکتهٔ مهم برای میزبانی اینه که مدل با quantization-aware training آموزش دیده (یعنی موقع آموزش، دقت پایین‌تر رو هم در نظر گرفتن، نه اینکه بعداً فشرده‌ش کنن). وزن‌ها با فرمت MXFP4 هستن، یعنی اعداد ممیز شناور ۴ بیتی که برای هر بلوک یه ضریب مقیاس جدا دارن. activationها هم MXFP8 هستن. حساب سرانگشتی نویسنده: ۲.۸ تریلیون پارامتر ضربدر حدود ۴ بیت میشه حدود ۱.۴ ترابایت. اگه نسخهٔ FP16 بود، بیشتر از ۵.۶ ترابایت می‌شد.
به گفتهٔ نویسنده، این مدل روی یه GPU یا حتی یه ورک‌استیشن قوی جا نمی‌شه. باید سرورهایی با هشت یا بیشتر GPU دیتاسنتری داشته باشی که با اتصال پرسرعت به هم وصلن. MoE فقط بار محاسبه رو سبک می‌کنه، نه حافظه رو؛ چون هر توکنی ممکنه سراغ هر متخصصی بره و کل ۲.۸ تریلیون پارامتر باید تو حافظه باشه. KV cache (یعنی حافظه‌ای که مدل برای نگه‌داشتن متن قبلی لازم داره) هم با طول متن بزرگ‌تر میشه.
جامعه نسخه‌های فشرده‌تری هم ساخته، مثلاً یه build دوبیتی با فرمت EXL3 که حافظه رو تقریباً نصف می‌کنه و شاید کار رو از هشت کارت به چهار کارت برسونه. ولی این فشرده‌سازی بعد از آموزش انجام شده و معمولاً دقت رو، مخصوصاً تو استدلال و کدنویسی، پایین میاره. نتایج بنچمارک‌هایی مثل Terminal-Bench و SWE Marathon روی همون دقت MXFP4 اندازه‌گیری شدن.
جمع‌بندی نویسنده اینه که برای بیشتر توسعه‌دهنده‌ها و تیم‌های کوچیک، میزبانی شخصی ارزششو نداره و API یا چت Kimi همون مدل رو بدون دردسر زیرساخت می‌ده. ارزش اصلی اوپن‌ویت بودنش شفافیت و تحقیقه. اگه کلاستر داری، از نسخهٔ اصلی MXFP4 شروع کن و نسخهٔ دوبیتی رو فقط وقتی حافظه کم داری و روی کار خودت تستش کردی استفاده کن.
نکات کلیدی:
- Kimi K3.1 Pro: ۲.۸ تریلیون پارامتر کل، ۱۰۴ میلیارد پارامتر فعال برای هر توکن
- ۸۹۶ متخصص، ۱۶ متخصص انتخابی به‌علاوهٔ ۲ متخصص مشترک برای هر توکن
- وزن‌ها MXFP4 و activationها MXFP8، با quantization-aware training
- حجم تقریبی وزن‌ها حدود ۱.۴ ترابایت، بدون حساب KV cache
- پنجرهٔ متنی ۱,۰۴۸,۵۷۶ توکن با ۶۹ لایهٔ KDA و ۲۴ لایهٔ Gated DSA
- نسخهٔ دوبیتی EXL3 حافظه رو نصف می‌کنه ولی دقت پایین‌تر میاد
