‏Muse Realtime Avatar متا: آواتار زنده و بی‌پایان

متا از Muse Realtime Avatar رونمایی کرده؛ لایه‌ای که صدای مدل Muse Realtime Voice رو به یه آواتار متحرک وصل می‌کنه. تو این مقاله اومده که سیستم با یه نمونهٔ مرجع کار می‌کنه: یه پرترهٔ عکاسی با حالت‌های ریز چهره جواب می‌ده، یه تصویرسازی تمام‌قد ژست می‌گیره و بدنش رو جابه‌جا می‌کنه، و حتی حیوون‌ها و اشیای معمولی هم بدون از دست دادن شکل خودشون حالت پیدا می‌کنن.

هستهٔ فنی‌اش یه Diffusion Transformer صداپایه‌ست که روی سه چیز شرط‌گذاری می‌شه: استریم توکن‌های گفتار (VQ، یعنی واحدهایی که هم محتوای حرف و هم لحن ادای اون رو حمل می‌کنن)، نمونهٔ مرجع، و پنجره‌ای متحرک از latentهای ویدیوی اخیر. ویدیو رو تیکه‌تیکه و causal می‌سازه و latentهای تازهٔ هر تیکه، زمینهٔ حرکتی تیکهٔ بعدی می‌شه. یعنی حجم محاسبه محدود می‌مونه و تولید می‌تونه تا هر وقت مکالمه ادامه داره، ادامه بده.

سرعت از distillation درمیاد. اول یه مدل معلم دوطرفه و باکیفیت آموزش دادن، بعد با self-forcing (یعنی مدل روی خروجی خودش تمرین می‌کنه تا جلوی انباشت خطا رو بگیره) و distribution matching distillation، یه مدل دانش‌آموز causal با KV cache ثابت ساختن. معلم ۴۰ گام diffusion با CFG سه‌مسیره داره و برای هر تیکه ۱۲۰ بار مدل رو اجرا می‌کنه؛ دانش‌آموز همون کارو با ۲ اجرای بدون guidance درمیاره، یعنی ۶۰ برابر کاهش.

برای سرو کردن، متا استک inference بلادرنگش رو از صفر بازطراحی کرده: KV cacheهای پایدار، routing آگاه از کش، بچینگ داینامیک آگاه از تأخیر، آموزش quantization-aware چهاربیتی و کرنل‌های fused با CUDA Graph. نتیجه‌ش ۸ برابر ظرفیت بیشتر نسبت به baseline دو-گامی BF16 و ۱۲ نشست بلادرنگ همزمان روی یه GB200 هست. خروجی هم با Meta Video Seal واترمارک نامرئی می‌خوره، بدون اینکه تأخیری اضافه شه.

برای سنجش کیفیت، متا سیستمش رو با Runway Characters و HeyGen LiveAvatar مقایسه کرده؛ ارزیاب‌ها دو-سه دقیقه با هر کدوم حرف زدن و به گفتهٔ متا در مجموع Muse Realtime Avatar رو بیشتر ترجیح دادن. خود متا هم تأکید می‌کنه که نمونه‌های این پست فقط توانایی مدل رو نشون می‌دن و همه‌شون تو اپ Muse موجود نیستن.

نکات کلیدی:

• ویدیوی ۴۴۸x۷۶۸ با ۲۵ فریم در ثانیه و تأخیر حدود ۸۷۰ میلی‌ثانیه از پایان نوبت کاربر تا اولین بایت جواب
• روی GB200 هر گام تولید هشت فریم رو در ۲۰ میلی‌ثانیه می‌سازه: ۲٫۵ میلی‌ثانیه به‌ازای هر فریم
• distillation، معلم ۱۲۰ ارزیابی‌ای رو به دانش‌آموز ۲ ارزیابی‌ای رسونده: ۶۰ برابر کاهش
• بهینه‌سازی‌ها ظرفیت سرو رو ۸ برابر کردن: ۱۲ نشست همزمان روی یه GB200
• واترمارک Meta Video Seal بدون اضافه کردن تأخیر روی کل ویدیو جاسازی می‌شه
• اپ Muse فقط برای کاربران بالای ۱۸ سال