LongLive 2.0: زیرساخت موازی تولید ویدیوی بلند با NVFP4
هوش مصنوعی
پایتونخلاصهٔ کامل‌تر
LongLive 2.0 یه پروژه‌ی متن‌باز از تیم NVLabs انویدیاست که زیرساختی برای تولید ویدیوهای بلند ارائه می‌ده. نسخه‌ی اول (1.0) روی تولید تعاملی ویدیو در زمان واقعی با راهنمایی کاربر تمرکز داشت، ولی نسخه‌ی 2.0 کلاً معماری و اهداف رو ارتقا داده و روی بهینه‌سازی موازی و کوانتیزاسیون NVFP4 متمرکز شده.
NVFP4 یه فرمت کوانتیزاسیون ۴ بیتی از انویدیاست که حجم مدل و مصرف حافظه رو کاهش می‌ده و در عوض سرعت اجرا رو بالا می‌بره. در این پروژه از فرمت W4A4 استفاده میشه؛ یعنی هم وزن‌ها (Weights) و هم فعال‌سازی‌ها (Activations) به ۴ بیت کوانتیزه می‌شن که بیشترین بهره‌ی سرعتی رو داره.
از نظر قابلیت‌های آموزش، LongLive 2.0 از sequence parallel متوازن برای آموزش اتورگرسیو (AR) پشتیبانی می‌کنه. همچنین میشه روی ویدیوهای چند صحنه‌ای (multi-shot) آموزش داد و هم با فرمت NVFP4 و هم BF16 هم آموزش AR و هم distillation چند مرحله‌ای رو انجام داد. منظور از distillation اینجا فشرده‌سازی مدل بزرگ‌تر توی یه مدل سریع‌تر با مراحل کمتره.
برای اینفرنس هم چند ویژگی کلیدی داره: اینفرنس NVFP4 با KV Cache کوانتیزه، attention sink برای ویدیوهای چند صحنه‌ای، پردازش موازی توالی (sequence parallel)، و async decoding. ترکیب این‌ها باعث شده مدل ۵ میلیارد پارامتری در حالت ۲ مرحله‌ای با NVFP4 به ۴۵.۷ فریم بر ثانیه برسه.
برای راه‌اندازی اینفرنس با NVFP4، تابع setup_nvfp4_pipeline تمام مراحل لودینگ چک‌پوینت، رپ کردن ماژول‌های NVFP4، و جابجایی VAE رو خودش انجام می‌ده:
pipe = CausalDiffusionInferencePipeline(config, device=device)
setup_nvfp4_pipeline(pipe, config, device)
pipe.generator.model.eval().requires_grad_(False)
noise, prompts = prepare_single_prompt_inputs(config, prompt, device)
video = pipe.inference(noise=noise, text_prompts=prompts)
save_video(video[0], "videos/quickstart/sample_nvfp4.mp4", fps=24)این کد نشون می‌ده که برخلاف حالت BF16، نباید از pipe.to(...) مستقیم استفاده کرد چون بافرهای کوانتیزه‌شده رو خراب می‌کنه.
از نظر مقایسه‌ی مدل‌ها، LongLive-1.3B با ۲۰.۷ FPS شروع می‌کنه و مدل LongLive-2.0-5B-NVFP4-2Step با ۴۵.۷ FPS سریع‌ترین گزینه‌ست. البته امتیاز VBench (معیار کیفیت ویدیو) در حالت سریع‌تر کمی پایین‌تره (83.14 در مقابل 85.06 مدل کامل). این پروژه زیر لایسنس Apache 2.0 منتشر شده.
نکات کلیدی:
- LongLive 2.0 زیرساختی برای تولید ویدیوی بلند با کوانتیزاسیون NVFP4 (4 بیتی) از انویدیاست
- سرعت اینفرنس در بهترین حالت به ۴۵.۷ FPS می‌رسه
- هم آموزش و هم اینفرنس با NVFP4 پشتیبانی میشه
- از ویدیوهای چند صحنه‌ای و sequence parallel هم پشتیبانی می‌کنه
- مدل‌ها روی HuggingFace در دسترس هستن و کد زیر لایسنس Apache 2.0 منتشر شده
