Qwen 3.8 27B برای کد، Flash Next برای چت
هوش مصنوعیخلاصهٔ کامل‌تر
این مقاله تجربهٔ یه کاربر حرفه‌ای مدل‌های محلی رو نقل می‌کنه که هر دو مدل رو روی یه سیستم با چهار تا کارت RTX 3090 اجرا کرده. Qwen 3.8 27B یه مدل dense هست (یعنی تو هر پاس همهٔ پارامترها فعالن) و با دقت کامل FP16 اجرا شده، و Qwen 3.8 Flash Next با کوانتایز INT4 (یعنی وزن‌ها فشرده شدن تا حافظهٔ کمتری بگیرن). به گفتهٔ نویسنده، مدل چگال یه سشن کدنویسی ایجنتی دوروزه رو تا آخر برد ولی Flash Next نتونست تمومش کنه.
نکتهٔ اصلی نویسنده اینه که وقتی پای swarm ایجنت‌ها وسطه، یعنی یه ایجنت اصلی کار رو بین چند زیرایجنت پخش می‌کنه، سرعت تک‌پاسخ اون‌قدرها مهم نیست. تو یکی از نمایش‌ها vLLM با سقف ۲۰ درخواست هم‌زمان تنظیم شده بود و مدل چند زیرایجنت تحقیقی رو با هم بالا آورد؛ نرخ decode روی هم از ۲۰۰ توکن بر ثانیه رد شد، با اینکه هیچ ایجنتی به‌تنهایی سریع نبود.
نویسنده اینو با تشبیه یه جعبه پر از نابغه توضیح می‌ده: چند کارگر کندتر ولی دقیق، از چند کارگر سریع ولی بی‌دقت بهتر جواب می‌دن، چون تو کارهای طولانی یه خطای اول مسیر کل ران رو هدر می‌ده. با این حال Flash Next کنار گذاشته نشده؛ به نظر نویسنده برای گفت‌وگوی خلاقانه و تک‌رشته‌ای هنوز بهترین انتخابه، حتی با همون INT4.
تنظیمات vLLM هم فقط روی سرعت اثر نمی‌ذاره، روی کیفیت خروجی هم اثر داره. prefix caching، یعنی استفادهٔ دوباره از بخش مشترک پرامپت‌ها به‌جای پردازش دوبارهٔ اون، و chunked prefill باید روشن باشن. KV cache روی FP8 با فرمت E4M3 برای کارت‌های Ampere مثل ۳۰۹۰ تنظیم میشه و reasoning effort روی high می‌مونه که توکن بیشتری می‌خوره ولی خروجی رو محسوس بهتر می‌کنه.
نویسنده تأکید می‌کنه Qwen 3.8 27B تنها راه کدنویسی محلی خوب نیست. DeepSeek V4 Flash رو به‌عنوان یه مدل کدنویسی همه‌منظورهٔ خوب معرفی می‌کنه که حالا vision هم داره، و GLM 5.3 رو برای کیفیت کد عالی ولی سرعت پایین‌تر. برتری Qwen 27B مشخصاً تو گردش‌کار ایجنتی و سشن‌های خودگردان طولانیه.
نکات کلیدی:
- Qwen 3.8 27B با FP16 یه سشن کدنویسی ایجنتی دوروزه رو تموم کرد، ولی Flash Next با INT4 نتونست.
- سخت‌افزار تست: چهار کارت RTX 3090 با vLLM و سقف ۲۰ درخواست هم‌زمان.
- نرخ decode مجموع با چند زیرایجنت هم‌زمان از ۲۰۰ توکن بر ثانیه رد شد.
- تنظیمات مؤثر روی کیفیت: prefix caching، chunked prefill، KV cache روی FP8 با فرمت E4M3 و reasoning effort روی high.
- Flash Next حتی با کوانتایز INT4 برای چت خلاقانه و تک‌رشته‌ای گزینهٔ بهتری موند.
- جایگزین‌های کدنویسی محلی: DeepSeek V4 Flash (با vision) و GLM 5.3 (کیفیت بالا، سرعت کمتر).
