tang: کرنلهای GPU رو بهجای نوشتن، استخراج کن
خلاصهٔ کاملتر
تو این مقاله پژوهشی، تیم سازنده tang میگه هر مدل سریع امروز روی کرنلهایی اجرا میشه که یکی دستی نوشته، یعنی یه کرنل برای هر عملگر، هر چیپ و هر fusion (یعنی ادغام چند عملیات تو یه کرنل که داده کمتر جابهجا بشه). FlashAttention یه کرنل دستی برای forward داشت، یکی برای backward، یکی برای Hopper و حالا یکی برای Blackwell. ادعای اصلی نویسندهها اینه که «کرنل یه قضیهست، نه برنامه» و میشه اونو استخراج و بررسی کرد، نه اینکه نوشت.
tang یه کتابخونه no_std تو Rust هست و IR تنسوریش فقط دو تا ساختار داره. Views نگاشتهای affine هستن که broadcast، transpose، slice و padding رو بدون کپی حافظه بیان میکنن. Comprehensions کاهش (reduction) زیر یه monoid هستن، یعنی یه عملیات شرکتپذیر مثل جمع یا max. fusion فقط یه قانون جایگزینیه. flash attention هم دستی نوشته نشده: کامپایلر online softmax رو یه monoid تشخیص میده و زمانبندیش رو خودش درمیاره.
نکته مهم اینه که گرادیان یه comprehension خودش هم یه comprehension هست، پس همون passها مسیر backward رو هم میسازن و بهینه میکنن. نویسندهها میگن superoptimizerهای اخیر فقط forward رو استخراج میکنن. precision (مثلاً f16 یا bf16) هم یه فیلد زمانبندیه که ریاضی رو عوض نمیکنه و یه interpreter شبیهساز، خطاش رو قبل از اجرا با یه بودجه خطا میسنجه. درستی rewriteهای اصلی هم تو Lean 4 اثبات شده.
یه گراف به WGSL، CUDA tensor cores، Metal، OpenCL، GLSL و C تبدیل میشه، از GPU دیتاسنتر تا SoC گوشیمانند یه ربات انساننما. روی RTX 3090 بلاک ترنسفورمر با طول ۵۱۲ حدود ۱.۲ برابر از PyTorch با CUDA graph و TF32 سریعتره، ولی تو طول ۱۲۸ PyTorch همونقدر جلوتره. Qwen3-8B با ۱۴۸.۷ توکن بر ثانیه decode میشه، همپای llama.cpp تو context کوتاه و ۹۲٪ اون تو 4k.
نویسندهها ضعفها رو هم صادقانه میگن. کرنل fused مسیر backward روی CUDA با bf16 حساب میکنه و به دقت لازم برای f32 نمیرسه. تو بعضی تنظیمات attention حدود ۱۵۰ برابر از FlashAttention-2 کندتره چون tile مخصوص tensor core تولید نمیشه. روی یه مدل MoE با ۸۰ میلیارد پارامتر روی H200، لایه expert تو batch 1 حدود ۱۸٪ کندتر و تو batch 64 حدود ۵٪ سریعتر از کرنلهای دستیه.
بخش آخر میپرسه یه کرنل چقدر از سریعترین حالت ممکن فاصله داره. کمترین ترافیک حافظه و tile بهینه، دو جواب primal و dual یه برنامه خطی هستن. کف زمانی که از این درمیاد روی ۲۴ کرنل هیچوقت از زمان اندازهگیریشده بیشتر نشد. روی RTX 3090 به ۰.۷۶ تا ۰.۹۳ زمان واقعی میرسه، ولی روی H200 خیلی شلتره.
نکات کلیدی:
- IR فقط دو ساختار داره: views (نگاشت affine) و comprehensions (کاهش زیر monoid)
- flash attention، logsumexp و واریانس Welford همه با rewrite استخراج میشن، نه کد دستی
- مسیر backward هم خودکار ساخته میشه و روی CUDA تعداد کرنلها رو از ۶۳ به ۴۹ کم کرد
- خروجی برای WGSL، CUDA، Metal، OpenCL، GLSL و C
- Qwen3-8B با ۱۴۸.۷ توکن بر ثانیه، همپای llama.cpp در context کوتاه
- attention در بعضی حالتها تا ۱۵۰ برابر از FlashAttention-2 کندتره
- rewriteهای اصلی در Lean 4 اثبات شدن، ولی ممیز شناور مدل نشده




