‏دیپ‌سیک V4.1-Flash: کش KV رو تا چهار برابر کوچیک‌تر کرد

دیپ‌سیک یه مدل جدید منتشر کرده به اسم DeepSeek-V4.1-Flash، یه مدل اپن‌سورس از نوع Mixture-of-Experts با ۵۵۲ میلیارد پارامتر که زیر لایسنس MIT عرضه شده. نکتهٔ اصلیش یه معماری تازه‌ست به اسم Causal Encoder-Decoder که کنار یه سیستم توجه پراکنده (sparse attention) نسل دوم نشسته و حافظهٔ KV cache (یعنی حافظه‌ای که مدل برای نگه داشتن اطلاعات توکن‌های قبلی لازم داره) رو به حدود ۸۹۰ بایت به ازای هر توکن رسونده، یه‌چیزی حدود یک‌چهارم نسخهٔ قبلیش، V4-Flash.

این مدل به‌جای معماری معمول decoder-only، به دو تیکه تقسیم شده: ۲۰ لایه انکودر و ۲۰ لایه دیکودر. حافظهٔ KV دیکودر به‌جای اینکه تو هر لایه از نو ساخته بشه، فقط یه‌بار از خروجی نهایی انکودر ساخته می‌شه، و همین یکی از دلایل اصلی صرفه‌جویی تو حافظه و محاسباته. برای اینکه جزئیات محلی از دست نره، یه تکنیک به اسم SWA Bounded Replay هم اضافه شده که آخرین توکن‌ها رو دوباره پردازش می‌کنه به‌جای اینکه یه کش جدا براشون نگه داره. از کل ۵۵۲ میلیارد پارامتر مدل، فقط ۸ میلیارد موقع prefill و ۱۶ میلیارد موقع decode فعال می‌شن، که همینه مدل رو با این‌همه بزرگی، ارزون نگه می‌داره.

یه تکنیک دیگه به اسم Compressed Sparse Attention 2 (یا CSA2) هم هست که به هر لایه یکی از سه حالت Full، Reindex یا Reuse رو می‌ده تا داده‌های KV و ایندکس بین لایه‌ها به اشتراک گذاشته بشه و از محاسبهٔ تکراری جلوگیری بشه. روی این، یه ایندکسر سلسله‌مراتبی هم گذاشته شده که جست‌وجوی لایه‌های عمیق‌تر رو محدود به همون استخر کاندیدهایی می‌کنه که لایهٔ اول ساخته، و یه کوانتیزیشن FP4 هم روی کش اصلی اجرا می‌شه. جمع همهٔ این‌ها همون عدد ۸۹۰ بایت رو می‌سازه.

دیپ‌سیک تو بنچمارک‌های ایجنتی مثل Terminal-Bench 2.1 و DeepSWE از GPT-5.6، Opus 5، K3 و GLM-5.3 جلوتره، ولی تو نسخه‌های سخت‌تر مثل Terminal-Bench 4.0 و تست استدلال HLE بدون ابزار، از Opus 5 عقب می‌مونه. یه پارامتر جالب دیگه هم داره به اسم reasoning effort که از ۱ تا ۱۰۰ قابل تنظیمه و می‌شه باهاش هزینهٔ استنتاج رو در برابر دقت تنظیم کرد، به‌جای انتخاب بین دو حالت ثابت سریع و فکورانه.

نکات کلیدی:

• ۵۵۲ میلیارد پارامتر کل، فقط ۸ تا ۱۶ میلیارد فعال در هر توکن
• کش KV حدود ۸۹۰ بایت به ازای هر توکن، یک‌چهارم نسخهٔ قبلی V4-Flash
• زمینهٔ (context) تا یک میلیون توکن با کمتر از یک گیگابایت حافظه
• تو Terminal-Bench 2.1 با امتیاز ۹۰.۶ از GPT-5.6 و Opus 5 جلوتره
• روی Terminal-Bench 3.0/4.0 و HLE بدون ابزار هنوز از Opus 5 عقبه