Helion بدون autotuning هم سریع شده
خلاصهٔ کاملتر
Helion یه DSL (یعنی زبان کوچیک مخصوص یه کار) از PyTorch برای نوشتن کرنلهای یادگیری ماشینه که روی سختافزارهای مختلف کار کنه. مشکلش اینه که سرعتش خیلی به autotuning وابستهست، یعنی کامپایل و بنچمارک کردن تعداد زیادی کانفیگ تا بهترینش پیدا شه. تیم نویسنده مثال میزنه که تیونینگ یه کرنل paged-attention روی ۷۲ شکل ورودی ۱۰ ساعت تو حالت سریع و ۲۵ ساعت تو حالت کامل طول کشیده.
راهحل اینه که کانفیگ موقع کامپایل حساب بشه، نه با جستجو. Helion کرنل رو از روی IR (نمایش میانی کد تو کامپایلر) بررسی میکنه و تو یکی از سه خانواده میذاره: matmul، reduction یا pointwise. هر کرنلی که ضرب ماتریسی مثل hl.dot داشته باشه سراغ heuristic مربوط به matmul میره. بعد بر اساس اون، block size و num_warps و num_stages و چند تنظیم دیگه انتخاب میشه.
پایهی همهی این قاعدهها یه تحلیل liveness هست، یعنی پیدا کردن اینکه هر مقدار آخرین بار کجا استفاده میشه. با این تحلیل تخمین میزنن هر CTA (گروه threadها روی GPU) چقدر رجیستر، shared memory و رو Blackwell چقدر tensor memory لازم داره. از روی اون occupancy (چند CTA همزمان روی یه SM جا میشه) و احتمال spill رجیسترها حساب میشه. نویسندهها قبول دارن این تخمین تقریبیه، چون تصمیم نهایی دست Tritonه.
نتیجهها روی H100 قابلتوجهه. تو نُه نوع linear attention، کانفیگ محاسبهشده 1.18x از کرنلهای دستنویس Triton تو کتابخونهی FLA سریعتره؛ پیشفرض قبلی Helion فقط 0.52x بود و autotuning کامل به 1.26x میرسید. روی شش کرنل reduction تو vLLM عدد 1.27x نسبت به CUDA دستنویس به دست اومده و autotuning کامل فقط حدود ۳ درصد بیشتر میده. خود تحلیل هم فقط چند ده میلیثانیه به کامپایل اضافه میکنه.
در مقایسه با torch.compile تو حالت max-autotune، کرنلهای reduction به 1.09x و کرنلهای matmul به 1.88x رسیدن. البته نویسندهها میگن مقایسهی matmul همیشه منصفانه نیست و یه مورد، یعنی jagged HSTU attention، بدتر از قبل شده. وقتی همین کانفیگها بهعنوان نقطهی شروع به autotuner داده بشن، رسیدن به جواب نسبتاً خوب تا ۳۵ برابر سریعتر میشه، ولی کل جستجو فقط حدود 1.2 برابر کوتاهتر میشه و جواب نهایی هم بهتر نمیشه.
نکات کلیدی:
- heuristicها تو Helion ادغام شدن و روی H100 و B200 با بکاند Triton بهطور پیشفرض فعالن
- linear attention: از 0.52x به 1.18x نسبت به FLA، بدون هیچ autotuning
- کرنلهای reduction تو vLLM: از 0.58x به 1.27x نسبت به CUDA دستنویس
- اگه اندازههای کرنل موقع کامپایل معلوم نباشه، heuristic اجرا نمیشه و همون پیشفرض قدیمی استفاده میشه
- برای مجموعهی ثابتی از شکلها که یه بار هزینهش رو میدی، autotuning کامل هنوز انتخاب درسته




