اجرای مدلهای PyTorch روی GPU داخل مرورگر با ExecuTorch WebGPU
خلاصهٔ کاملتر
تیم PyTorch تو این پست اعلام کرده که مدلهای PyTorch حالا از طریق ExecuTorch (یعنی runtime سبک PyTorch برای اجرای مدل روی دستگاهها) میتونن داخل مرورگر و روی GPU اجرا بشن. روندش سادهست: مدل رو با torch.export به یه فایل .pte خروجی میگیری و همون فایل تو هر مرورگری که WebGPU داره اجرا میشه. WebGPU همون جانشین مدرن WebGL هست که compute shader و shared memory داره و برای inference مدلهای ML مناسبه.
تا الان برای بردن یه مدل PyTorch به مرورگر معمولاً باید اول تبدیلش میکردی به فرمتهایی مثل GGUF، ONNX یا TFLite. این backend جدید این مرحله رو حذف میکنه و کل کار تو ابزارهای خود PyTorch میمونه. به گفتهٔ تیم، اجرای مدل تو مرورگر یعنی prompt و ورودی و خروجی کاربر روی دستگاه خودش میمونه، latency شبکه کم میشه، حالت آفلاین ممکن میشه و هزینهٔ سرور هم پایین میاد.
از نظر طراحی، مدل از طریق torch.export() و یه partitioner به اسم WebGPUPartitioner خروجی گرفته میشه و با shaderهای WGSL (زبان shader مخصوص WebGPU) اجرا میشه. خود runtime با C++ نوشته شده و با Emscripten به WebAssembly کامپایل میشه و emdawnwebgpu فراخوانیهاش رو به API جاوااسکریپتی WebGPU مرورگر وصل میکنه. برای shapeهای متغیر، بافرها با بیشترین اندازه رزرو میشن تا prefill دستهای ممکن بشه. یه فایل .pte روی Metal در macOS، Vulkan در لینوکس و اندروید، و D3D12 در ویندوز کار میکنه.
برای بنچمارک، Llama 3.2 1B و Qwen3-0.6B کوانتایزشده تو Chrome روی Apple M1 Pro تست شدن و با backend خود ExecuTorch روی CPU (یعنی WebAssembly با XNNPACK چندنخی) مقایسه شدن. نتیجه این بوده که WebGPU تو مرحلهٔ prefill (پردازش prompt ورودی) ۴ تا ۷ برابر و تو مرحلهٔ decode (تولید توکن به توکن) ۲ تا ۱۰ برابر سریعتره. هر عدد میانهٔ ۵ اجرا بعد از ۳ بار warmup بوده، با context بین ۱۲۸ تا ۸ هزار توکن.
مدلهای تستشده خیلی متنوعن: LLMهایی مثل Llama 3.2، Qwen3 و Gemma 3، مدل بینایی-زبانی SmolVLM، مدلهای عمقسنجی و segmentation مثل Depth Anything V2 و SAM 2، تشخیص اشیا با D-FINE، افزایش رزولوشن با Real-ESRGAN، و Whisper برای تبدیل گفتار به متن. حتی fine-tune با LoRA هم داخل مرورگر پشتیبانی میشه. تیم میگه backend هنوز اول راهه و قراره سریعتر و پایدارتر بشه. یه Playground آنلاین هم برای امتحانش هست.
نکات کلیدی:
- خروجی با torch.export به فایل .pte، بدون تبدیل به ONNX یا GGUF یا TFLite
- WebGPU تو prefill ۴ تا ۷ برابر و تو decode ۲ تا ۱۰ برابر سریعتر از مسیر CPU (WebAssembly + XNNPACK)
- بنچمارک روی Chrome و Apple M1 Pro با Llama 3.2 1B و Qwen3-0.6B چهار بیتی
- یه فایل روی Metal، Vulkan و D3D12 اجرا میشه و داده از دستگاه بیرون نمیره
- پشتیبانی از Whisper، SAM 2، SmolVLM و fine-tune با LoRA داخل مرورگر
- backend هنوز در مرحلهٔ توسعهٔ اولیهست




