‏SANA-Video 2.0؛ ساخت ویدیو سریع روی یک GPU

به گفتهٔ مقاله، تیم تحقیقاتی انویدیا مدل SANA-Video 2.0 رو معرفی کرده؛ یه ترنسفورمر انتشاریِ (diffusion transformer) هیبریدی برای تولید ویدیو که تو دو مقیاس ۵ و ۱۴ میلیارد پارامتری و زیر یه معماری واحد ساخته شده. هدفش اینه که ویدیوی باکیفیت تا ۷۲۰p رو روی یک GPU بسازه و در عین حال هم کیفیت مدل‌های مبتنی بر softmax کامل رو داشته باشه و هم مقیاس‌پذیریِ خوبِ توجه خطی برای دنباله‌های بلند رو حفظ کنه.

قلب کار، سازوکاری به اسم Hybrid Linear-Softmax Attention ـه. به‌جای این‌که همه‌جا از توجه درجه‌دومِ softmax استفاده بشه، این روش عمدتاً از توجه خطیِ دروازه‌دار با پیچیدگیِ خطی برای ترکیب اطلاعات استفاده می‌کنه و بعد به‌صورت دوره‌ای، با نسبت ۳ به ۱، لنگرهای softmax می‌ذاره تا اون تعامل کامل بین توکن‌ها که توجه خطیِ محض کم داره، برگرده.

بخش دوم معماری، Block Attention Residuals ـه که به گفتهٔ مقاله خلاصهٔ بلوک‌های کامل‌شده رو به لایه‌های خطیِ بعدی می‌رسونه تا ویژگی‌های تازه‌شده دوباره استفاده بشن؛ همین باعث می‌شه رتبهٔ مؤثرِ لایه‌های عمیق حدود ۱۲ درصد بالا بره. نویسنده‌ها می‌گن مدل رو از صفر آموزش دادن تا خودش کل ساختار هیبریدی رو یاد بگیره، نه این‌که یه مدل از پیش‌آموزش‌دیده رو خطی کنن، و با مطالعه‌های آزمایشی به این نتیجه رسیدن که ۲۵ درصد softmax بهترین نقطهٔ تعادل بین کیفیت و کاراییه.

طبق ارقام مقاله، SANA-Video 2.0 با نمونه‌گیریِ ۴۰ مرحله‌ای امتیاز VBench برابر ۸۴.۳۰ می‌گیره و همچنان با مدل‌های softmaxیِ خیلی بزرگ‌تر رقابت می‌کنه، ولی با کسری از تأخیر اون‌ها. گذر روبه‌جلوی کامپایل‌شدهٔ مدل تو ۷۲۰p و ۶۰ ثانیه، ۳.۲ برابر از یه مدل پایهٔ softmaxیِ هم‌تراز سریع‌تره و این فاصله با بلندترشدن ویدیو بیشتر هم می‌شه. با بهینه‌سازیِ کاملِ Sol-Engine (شامل ادغام کرنل، کش و توجه اسپارس) سرعت ۳.۵۸ برابر دیگه هم بالا می‌ره و در نهایت مدل ۵ میلیاردی ویدیوی ۷۲۰p پنج‌ثانیه‌ای رو تو ۱۳.۰۶ ثانیه می‌سازه، یعنی حدود ۱۲۰ برابر سریع‌تر از Wan 2.2 با ۱۴ میلیارد پارامتر روی یک H100. جمع‌بندی مقاله اینه که طراحی هیبریدیشون بیانگری در حد softmax رو با هزینهٔ به‌مراتب کمتر بازمی‌گردونه و راه رو برای تولید ویدیوی بلند و باکیفیت باز می‌کنه.

نکات کلیدی:

• SANA-Video 2.0 مدل تولید ویدیوی انویدیا تو دو اندازهٔ ۵ و ۱۴ میلیاردیه
• ترکیب توجه خطی و لنگرهای softmax با نسبت ۳ به ۱، هزینه رو کم و کیفیت رو حفظ می‌کنه
• امتیاز VBench برابر ۸۴.۳۰ و ساخت ویدیوی ۷۲۰p پنج‌ثانیه‌ای در ۱۳.۰۶ ثانیه
• تا ۳.۲ برابر سریع‌تر از مدل پایهٔ softmax و با بهینه‌سازی ۳.۵۸ برابر بیشتر
• به گفتهٔ مقاله تا ۱۲۰ برابر سریع‌تر از Wan 2.2 با ۱۴ میلیارد پارامتر روی یک H100