انویدیا: هشت قانون برای طراحی sparse attention سریع روی GPU
خلاصهٔ کاملتر
با رشد ایجنتها و کدبیسهای بزرگ، طول کانتکست از دهها هزار به صدها هزار توکن رسیده. تو این حالت dense attention (یعنی هر query با همهٔ keyها مقایسه میشه) گرونترین بخش لایهست و تو ۱۲۸K توکن میتونه بیشتر زمان prefill رو بخوره. راهحل در سطح مدل sparse attention هست: هر query فقط به k تا key مرتبطتر نگاه میکنه که معمولاً چند هزار تاست.
انویدیا تو این مقاله میگه هزینه حذف نمیشه، فقط جابهجا میشه. sparse attention سه مرحله داره: یه indexer (یعنی یه بلوک کوچیک شبیه attention که به همهٔ N تا key امتیاز میده)، بعد Top-k که بالاترین امتیازها رو نگه میداره، و آخر core attention روی همون k تا. دو مرحلهٔ آخر با k بزرگ میشن ولی indexer با N. مثلاً تو DeepSeek V3.2، indexer و Top-k روی هم ۴۷ درصد زمان یه لایهٔ prefill رو میگیرن.
تیم انویدیا با یه کرنل FP8 واقعی، پیچهای طراحی indexer رو یکییکی امتحان کرده. تو decode، گلوگاه خوندن key cache از حافظهٔ HBM هست، پس اضافه کردن query head تقریباً مجانیه: G شونزده برابر شد ولی زمان فقط ۲ درصد تغییر کرد. همین منطق برای speculative decoding هم صدق میکنه، تا وقتی G ضرب در (D+1) تو یه tile از Tensor Core (حدود ۲۰۰ ردیف، یا ۲۵۶ با epilogue در FP16) جا بشه. ولی بیشتر کردن key head هزینهٔ decode رو خطی بالا میبره: ۷.۶ برابر از KH=1 تا ۸.
بعد از اون، head dimension یا Hsz اگه کمتر از ۱۲۸ باشه، Tensor Coreها منتظر epilogue روی CUDA coreها میمونن. compression ratio هم کل کار رو به نسبت 1/CR کم یا زیاد میکنه. نویسندهها میگن تنها راه کم کردن کار indexer اینه که keyهای کمتری امتیاز بگیرن، مثلاً با فشردهسازی، indexing سلسلهمراتبی یا اشتراک index بین لایهها.
هزینهٔ Top-k هم به تعداد keyهای امتیازگرفته بستگی داره، نه به k: ۶۴ برابر کردن k زمان رو کمتر از ۲ برابر میکنه. روش Guess-Verify-Refine تو TensorRT LLM با استفاده از نتیجهٔ قدم قبلی، روی DeepSeek V3.2 و V4 بین ۲.۱ تا ۲.۴ برابر سریعتر از radix select معمولیه. ادغام Top-k با indexer هم نوشتن و خوندن دوبارهٔ logitها رو حذف میکنه، کاری که مسیر selective Top-k در FlashInfer انجام میده.
آخر سر، انتخاب بلوکی (block-level) نسبت به انتخاب تکتوکنی برای core attention بهتره، چون یه بلوک یکجا خونده میشه و queryهایی که همون بلوک رو انتخاب کردن تو خوندنش شریکن. ولی اندازهٔ بلوک مهمه: نصف کردنش زمان رو تقریباً دو برابر میکنه. یعنی اگه داری مدل sparse طراحی میکنی، بلوک بزرگ و group size بزرگ انتخاب کن.
نکات کلیدی:
- G ضرب در (D+1) رو تو حدود ۲۰۰ ردیف نگه دار (۲۵۶ با epilogue در FP16)
- epilogue indexer رو در FP16 اجرا کن، اگه مقیاس QK اجازه بده accumulation رو هم
- از KH=1 با کاهش بین query headها استفاده کن تا برای هر key یه logit نوشته بشه
- Hsz=128 یا ۲۵۶ بهترین گزینهست و بیشتر طراحیها روی ۱۲۸ میمونن
- تعداد keyهایی که indexer امتیاز میده رو با فشردهسازی و اشتراک index کم کن
- Top-k رو با indexer ادغام کن و تو decode از نتیجهٔ قدم قبلی استفاده کن
- انتخاب بلوکی با بلوکهای بزرگ و group size بزرگ برای core attention بهتره




