DSpine تنسنت: Qwen3.8-27B تا ۳.۸ برابر سریعتر
خلاصهٔ کاملتر
تنسنت DSpine رو منتشر کرده، یه مدل draft برای speculative decoding که کنار Qwen3.8-27B کار میکنه. speculative decoding یعنی یه مدل کوچیک و سریع چند توکن رو جلوتر حدس میزنه و مدل بزرگ همه رو تو یه مرحله تأیید یا رد میکنه. اگه حدسها درست باشن، چند توکن با هزینهٔ تقریباً یه بار اجرای مدل بزرگ ساخته میشه. چون مدل اصلی همهٔ توکنها رو بررسی میکنه، خروجی نهایی دقیقاً همونیه که خود مدل تولید میکرد.
مشکل همیشگی مدلهای draft اینه که نمیتونن توکنهاشون رو موازی بسازن، چون توکن پنجم باید بدونه تو جایگاه چهارم چی اومده. راهحل DSpine چیزیه که اسمش رو گذاشتن adjacent causal injection: هر کدوم از پنج لایه، یه ویژگی پیشبینیشده رو از هر جایگاه به جایگاه بعدی پاس میده. یعنی اطلاعات ترتیبی به جای تولید یکییکی، از طریق عمق شبکه منتقل میشه و DSpine میتونه تا ۱۶ توکن رو یکجا پیشنهاد بده. چکپوینت منتشرشده از sliding window ۸۱۹۲ توکنی هم پشتیبانی میکنه.
تنسنت DSpine رو مستقیم با DFlash2، مدل draft قبلی برای همین مدل پایه، مقایسه کرده؛ روی SGLang 0.5.22، دقت BF16، FlashAttention 3 و همزمانی ۸. معیار اصلی acceptance length هست، یعنی بهطور میانگین چندتا از توکنهای حدسی قبول میشن. مثلاً تو حالت greedy روی GSM8K عددش ۷.۲۰ در برابر ۵.۶۹ و روی HumanEval ۵.۷۱ در برابر ۴.۸۷ بوده. روی بنچمارکهای ایجنتی WorkBuddy، SWE-bench Pro و tau-squared-bench هم DSpine همهجا جلوتر بوده.
تو سرعت واقعی، DSpine نسبت به تولید معمولی (autoregressive) بین حدود ۲.۷ تا ۳.۸ برابر سریعتر بوده. بیشترین عدد، ۳.۸۴ برابر، روی WorkBuddy Office ثبت شده. بهطور کلی DSpine حدود ۰.۳ تا ۰.۷ برابر سرعت بیشتر از چیزی که DFlash2 میداد بهت میده. برای استفاده، DSpine بهعنوان بکاند speculative decoding تو SGLang اجرا میشه و وزنهای مدل پایه دست نمیخوره:
sglang serve \
--model-path Qwen/Qwen3.8-27B \
--speculative-algorithm DSPINE \
--speculative-draft-model-path /path/to/Qwen3.8-27B-DSpine-b16 \
--speculative-num-draft-tokens 16 \
--enable-linear-replayssm-specتو این دستور، --speculative-num-draft-tokens 16 با اندازهٔ بلاک چکپوینت جوره و --enable-linear-replayssm-spec بهینهسازی ReplaySSM رو برای کش روشن میکنه. دستور کامل تو مقاله کلی فلگ دیگه هم داره، از جمله FlashInfer و تنظیمات کش mamba.
نویسنده معتقده برای تیمهایی که الان Qwen3.8-27B رو روی SGLang اجرا میکنن، DSpine یه ارتقای سرراسته. ولی دو تا نکته هست: این چکپوینت فقط برای Qwen3.8-27B آموزش دیده و به مدلهای دیگه کمکی نمیکنه. همهٔ بنچمارکها هم کار خود تنسنت و با همزمانی ۸ بوده، پس رو سختافزار و batch size دیگه ممکنه نتیجه فرق کنه.
نکات کلیدی:
- DSpine یه مدل draft پنجلایهست که تا ۱۶ توکن رو یکجا پیشنهاد میده؛ DFlash2 روی ۸ تنظیم شده بود.
- acceptance length روی GSM8K در حالت greedy ۷.۲۰ در برابر ۵.۶۹ برای DFlash2 بوده.
- بیشترین افزایش سرعت ۳.۸۴ برابر نسبت به تولید معمولی روی WorkBuddy Office بوده.
- با SGLang 0.5.22، FlashAttention 3 و FlashInfer تست شده.
- چکپوینت tencent/Qwen3.8-27B-DSpine-b16 با لایسنس Apache 2.0 روی Hugging Face منتشر شده.




