DSpine در برابر DFlash2: کدوم draft model سریعتره؟
خلاصهٔ کاملتر
این مقاله دو تا draft model رو برای Qwen3.8-27B مقایسه کرده: DSpine از تنسنت و DFlash2 از تیم Z-Lab. هر دو برای speculative decoding هستن، یعنی یه مدل کوچیک و سریع چند توکن رو جلوجلو حدس میزنه و مدل بزرگ همه رو با یه بار اجرا چک میکنه. نتیجه این بود که DSpine حدود ۱۶ درصد سریعتر بود.
روش کار اینطوریه که مدل بزرگ حدسهای درست رو نگه میداره و از اولین توکن غلط دوباره شروع میکنه. چون چک کردن یه بلوک توکن تقریباً به اندازهٔ تولید یه توکن هزینه داره، هر حدس درست عملاً سرعت مجانیه. متن نهایی دقیقاً همونیه که مدل بزرگ خودش میساخت. برای همین معیار اصلی acceptance length هست، یعنی اینکه تو هر دور چند تا توکن حدسی تأیید میشن.
فرق دو مدل تو اینه که چطوری حدسهای موازی رو با هم هماهنگ نگه میدارن. DSpine تو هر لایه (نسخهٔ Qwen3.8-27B پنج لایه داره) ویژگیهای پیشبینیشده رو بین موقعیتهای کنار هم رد و بدل میکنه و آخر سر با یه lookup table توکنها رو از چپ به راست انتخاب میکنه. بلوکهاش ۱۶ توکنیه و sliding window هشت هزار و ۱۹۲ توکنی داره. DFlash2 حدسهای کنار هم رو با کانولوشنهای کوچیک ترکیب میکنه و بعد بهترین مسیر رو برمیداره. بلوکهاش ۸ توکنیه.
تست روی یه Nvidia H100 با ۸۰ گیگ VRAM و با SGLang انجام شد. ۱۶ پرامپت (۸ کوتاه و ۸ بلند و استدلالی) هر کدوم دو بار اجرا شدن، یعنی ۳۲ درخواست، با temperature صفر. DFlash2 بهطور میانگین حدود ۱۲۹ توکن در ثانیه داد و حدود ۷۳ گیگ VRAM مصرف کرد. DSpine حدود ۱۵۰ توکن در ثانیه داد و حدود ۷۸ گیگ مصرف کرد. یعنی ۱۴ درصد جلوتر روی پرامپتهای کوتاه و ۱۶ درصد روی بلندها.
این نتیجه با عددهای خود تنسنت هم جور درمیاد. مثلاً acceptance length تو GSM8K برای DSpine عدد ۷.۲۰ و برای DFlash2 عدد ۵.۶۹ بوده و تو MATH-500 هم ۶.۴۹ در برابر ۵.۴۹. تو کارهای agentic روی WorkBuddy Office هم DSpine تا ۳.۸۴ برابر سرعت نسبت به decoding معمولی رسیده، در حالی که DFlash2 به ۳.۱۷ برابر رسیده.
نویسنده میگه هزینهٔ این سرعت حافظهست. ۷۸ گیگ روی یه H100 هشتادگیگی جا میشه ولی جای کمی برای batchهای بزرگتر یا context طولانیتر میذاره. پس روی GPUهای کوچیکتر یا با تعداد درخواست همزمان زیاد، DFlash2 شاید منطقیتر باشه. این تست هم فقط تکGPU و تکدرخواست بوده و با بار بیشتر نتیجه ممکنه فرق کنه.
نکات کلیدی:
- DSpine حدود ۱۵۰ توکن در ثانیه داد و DFlash2 حدود ۱۲۹، یعنی حدود ۱۶ درصد اختلاف.
- DSpine بلوکهای ۱۶ توکنی میسازه و DFlash2 بلوکهای ۸ توکنی.
- مصرف VRAM برای DSpine حدود ۷۸ گیگ و برای DFlash2 حدود ۷۳ گیگ بود.
- speculative decoding خروجی مدل اصلی رو عوض نمیکنه، فقط سرعت رو بالا میبره.
- هر دو checkpoint مخصوص Qwen3.8-27B هستن و برای مدل دیگه باید جدا آموزش ببینن.
- تست با SGLang روی یه H100 و فقط با یه درخواست همزمان انجام شد.




