‏دیپ‌سیک V4.1 فلش: مصرف حافظه رو تا ۴ برابر کم کرد

دیپ‌سیک یه مدل تازه به اسم V4.1 فلش منتشر کرده که ۵۵۲ میلیارد پارامتر داره، ولی به‌جای اینکه همه‌شونو فعال کنه از یه معماری MoE (یعنی مدل چندتا زیرمدل کوچیک‌تر داره و فقط چندتاشونو برای هر توکن روشن می‌کنه) استفاده می‌کنه. نتیجه‌ش اینه که موقع خوندن ورودی فقط ۸ میلیارد و موقع نوشتن خروجی فقط ۱۶ میلیارد پارامتر واقعاً کار می‌کنن، هرچند کل مدل خیلی بزرگ‌تره.

نکته اصلی مدل، حافظه‌ایه که موقع اجرا مصرف می‌کنه. مدل‌های زبانی معمولاً باید یه چیزی به اسم KV cache (یعنی خلاصه‌ای از حرف‌های قبلی که مدل حین صحبت نگه می‌داره تا مجبور نشه از اول همه‌چیو حساب کنه) رو تو حافظه نگه دارن، و هرچی متن طولانی‌تر بشه این حافظه بیشتر پر می‌شه. دیپ‌سیک با یه معماری جدید این کش رو به ۸۹۰ بایت به ازای هر توکن رسونده، که تقریباً یک‌چهارم نسخه قبلی‌شه و نسبت به اولین نسخه دیپ‌سیک ۴۳۷ برابر کوچیک‌تره.

برای این کار مدل به‌جای اینکه هر لایه حافظه خودشو جدا حساب کنه، فقط یه بار از خروجی انکودر حافظه رو می‌سازه و بین همه لایه‌های دیکودر دوباره ازش استفاده می‌کنه. یه تکنیک دیگه به اسم CSA2 هم به هر لایه توجه (attention، یعنی بخشی که مدل تصمیم می‌گیره به کدوم قسمت از متن بیشتر دقت کنه) یکی از سه حالت Full، Reindex یا Reuse رو می‌ده تا لایه‌ها داده‌های همدیگه رو دوباره حساب نکنن. روی این، یه لایه فشرده‌سازی FP4 هم اضافه شده که حجم داده‌ها رو باز کوچیک‌تر می‌کنه.

تو تست‌های بنچمارک، این مدل تو کارای کدنویسی و ایجنتی (یعنی وظایفی که مدل باید چندتا ابزار رو پشت سر هم به کار بگیره) از رقیبای بزرگی مثل Opus-5.0 و GPT-5.6 جلو زده، مثلاً تو Terminal-Bench 2.1 نمره ۹۰.۶ و تو CyberGym نمره ۸۸.۱ گرفته. ولی تو تست‌های دانش عمومی و کانتکست خیلی طولانی هنوز از بعضی رقبا عقب‌تره.

یه ویژگی جالب دیگه‌ش هم اینه که یه پارامتر بین ۱ تا ۱۰۰ داره که میزان فکر کردن مدل رو تنظیم می‌کنه، یعنی می‌شه بین سرعت و دقت بر اساس نیاز تعادل برقرار کرد. مدل با لایسنس MIT منتشر شده، یعنی همه می‌تونن آزادانه ازش استفاده کنن.

نکات کلیدی:

• ۵۵۲ میلیارد پارامتر کل، ولی فقط ۸ تا ۱۶ میلیارد‌ش فعال میشه
• کش حافظه به ۸۹۰ بایت به ازای هر توکن رسیده، حدود ۴ برابر کمتر از نسخه قبلی
• کانتکست تا یک میلیون توکن پشتیبانی می‌شه
• تو Terminal-Bench 2.1 نمره ۹۰.۶ و تو CyberGym نمره ۸۸.۱ گرفته
• پارامتر reasoning effort از ۱ تا ۱۰۰ قابل تنظیمه
• مدل با لایسنس MIT منتشر شده