‏نسخه‌ی ۱ بیتی DeepSeek V4.1 Flash برای کدنویسی روی یه GPU

آزمایشگاه DASH Lab (با اسم ISTA-DASLab روی Hugging Face) یه نسخه‌ی فشرده از مدل DeepSeek V4.1 Flash رو با اسم DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF منتشر کرده. مدل اصلی یه mixture-of-experts یا MoE هست (یعنی مدلی که از چندتا زیرشبکه‌ی تخصصی به اسم expert ساخته شده و برای هر توکن فقط چندتاشون فعال می‌شن). DASH Lab حدود نصف expertها رو حذف کرده و فقط اونایی رو نگه داشته که به کدنویسی و کارهای agent مربوط‌ان.

بعد وزن‌های باقی‌مونده رو quantize کرده (یعنی عددهای وزن‌ها رو با بیت کمتری ذخیره کرده تا حجم مدل کم بشه). یه مدل معمولی هر وزن رو با ۱۶ بیت نگه می‌داره و quantize معمول بین ۲ تا ۴ بیته. اینجا میانگین به حدود ۱ بیت رسیده. ولی این عدد یه میانگینه: expertهای حذف‌شده صفر بیت حساب می‌شن، پس وزن‌هایی که موندن در واقع دقت بیشتری از ۱ بیت دارن. خروجی یه فایل GGUF (فرمت بسته‌بندی وزن‌های فشرده برای ابزارهایی مثل llama.cpp) با حدود ۷۲ گیگ وزن اصلیه.

دو تا تکنیک تو اسم مدل اومده. RCO به کل مدل نگاه می‌کنه و تصمیم می‌گیره بودجه‌ی بیت کجا خرج بشه: لایه‌های حساس‌تر بیت بیشتری می‌گیرن و لایه‌هایی که فشرده‌سازی رو تحمل می‌کنن بیت کمتر. GSQ هم برای تک‌تک وزن‌ها تصمیم می‌گیره به کدوم مقدار مجاز گرد بشن. به‌جای اینکه فقط نزدیک‌ترین مقدار رو انتخاب کنه، چندتا گزینه رو هم‌زمان امتیاز می‌ده و کم‌کم انتخابش رو دقیق‌تر می‌کنه.

از نظر سخت‌افزار، اجرای مدل با llama.cpp با کل مدل روی GPU و حالت thinking روشن، با یه context معمولی حدود ۹۵ گیگ VRAM مصرف کرده. با کم کردن context می‌شه یه کم پایین‌تر اومد، ولی کمتر از ۷۲ گیگ وزن اصلی نمی‌شه. یعنی مدلی که در حالت کامل ۷۶۳ میلیارد پارامتره و چندتا GPU لازم داره، حالا روی یه GPU پرحافظه (مثل ایستگاه کاری یا سرور اجاره‌ای) بالا میاد.

تو تست‌های عملی، یه agent با این مدل بدون هیچ راهنمایی، بعد از بیشتر از ۳۰ دقیقه یه باگ محاسبه‌ی هزینه‌ی غذا رو تو یه اپ رستوران مبتنی بر Docker پیدا و درست کرد. اپ برای یه پرس ۲۲۰ گرمی فقط ۱۰۱ گرم گوشت خام حساب می‌کرد، در حالی که عدد واقعی نزدیک ۴۸۰ گرم بود. بعد از اصلاح، هزینه‌ی غذا از ۱۸.۹٪ به ۳۴.۵٪ رسید. مدل یه کوئری تودرتوی SQL رو هم درست کرد که خطا نمی‌داد ولی مشتری اشتباه برمی‌گردوند: یه فیلتر سفارش‌های تکمیل‌شده جا افتاده بود و میانگین روی سفارش‌ها حساب می‌شد نه روی مجموع هر مشتری.

تو تست خلاقانه، یه انیمیشن سه‌بعدی چرخان از دونر کباب ساخت که قابل تشخیص بود، ولی نسبت به نسخه‌ی کامل DeepSeek صاف‌تر و کارتونی‌تر بود. نویسنده می‌گه تو هیچ‌کدوم از تست‌ها توهم، تکرار بی‌پایان یا خروجی به‌هم‌ریخته دیده نشد، که معمولاً اولین مشکل مدل‌های ۱ و ۲ بیتیه. جمع‌بندی مقاله اینه که این مدل رو باید یه ابزار تخصصی کدنویسی دید، نه یه دستیار همه‌کاره.

نکات کلیدی:

• حدود نصف expertهای DeepSeek V4.1 Flash حذف شده و فقط بخش‌های مربوط به کد و agent مونده.
• میانگین دقت حدود ۱ بیت به ازای هر پارامتره، با حدود ۷۲ گیگ وزن اصلی در فرمت GGUF.
• اجرا با llama.cpp و حالت thinking حدود ۹۵ گیگ VRAM لازم داره.
• RCO بودجه‌ی بیت رو بین لایه‌ها تقسیم می‌کنه و GSQ نحوه‌ی گرد کردن هر وزن رو انتخاب می‌کنه.
• تو کد و SQL خوب جواب داد، ولی کیفیت خروجی تصویری از نسخه‌ی کامل پایین‌تره.