‏JCA انویدیا: ساخت همزمان ویدیو و حرکت سه‌بعدی برای هر اسکلتی

مدل‌های تولید ویدیو امروز حرکت‌های خیلی واقعی می‌سازن، ولی این حرکت فقط توی پیکسل‌ها می‌مونه. مثلاً یه مدل ویدیو می‌تونه میمونی رو نشون بده که از روی میله می‌پره، اما نمی‌تونه همون پرش رو به شکل یه حرکت سه‌بعدی قابل پخش تحویل بده. تیم NVIDIA Research تو این مقاله مدلی به اسم JCA (مخفف Joints, Camera, Action!) معرفی کرده که همین شکاف رو پر می‌کنه.

JCA از روی یه متن، همزمان ویدیو و حرکت سه‌بعدی رو برای هر rig (یعنی اسکلت مفصل‌داری که مدل سه‌بعدی باهاش تکون می‌خوره) می‌سازه، با هر شکل و تعداد مفصلی. کنارش یه دوربین هم تخمین می‌زنه که حرکت رو دقیقاً توی صحنه جا می‌ندازه. اگه یه عکس ورودی بدی، حرکت به محیط اطرافش واکنش نشون می‌ده؛ اگه چند keyframe (یعنی فریم‌های کلیدی که مسیر حرکت رو مشخص می‌کنن) بدی، می‌تونی مسیر رو کنترل کنی.

به گفتهٔ نویسنده‌ها، مدل‌های قبلی یا فقط اسکلت انسان رو پشتیبانی می‌کردن و اغلب میلیاردها پارامتر اضافه داشتن، یا حرکت سه‌بعدی رو از روی نقشه‌های دوبعدی ژست مثلث‌بندی می‌کردن. JCA حرکت سه‌بعدی رو توی یه مدل جدا نگه می‌داره و با چندتا لایهٔ cross-attention (یعنی لایه‌هایی که دو مدل رو به هم وصل می‌کنن تا از اطلاعات هم استفاده کنن) به یه مدل ویدیوی ازپیش‌آموزش‌دیده وصلش می‌کنه.

فایدهٔ این جدا کردن اینه که مدل حرکت اول فقط با دادهٔ حرکتی یاد می‌گیره اسکلت‌ها چطور تکون می‌خورن. این داده خیلی راحت‌تر از ویدیوهای جفت‌شده با حرکت پیدا می‌شه. مدل همچنین یاد می‌گیره جای هر مفصل رو توی فریم‌های ویدیو پیدا کنه، و از همین طریق دوربین رو بازسازی می‌کنه.

برای آموزش روی اسکلت‌های مختلف، تیم با یه ویرایشگر ویدیوی مولد، مدل‌های سه‌بعدی متحرک رو توی صحنه‌های مناسب کارشون گذاشته و نتیجه‌ها رو گزینش کرده که حرکت اصلی خراب نشه. با ویدیوهای انسان و ربات، جمعاً نزدیک ۲۰۰ هزار جفت دادهٔ آموزشی جمع شده. طبق ارزیابی مقاله، JCA اسکلت‌های متنوع رو دقیق‌تر از روش‌هایی که اول ویدیو می‌سازن متحرک می‌کنه و با AnimateAnyMesh و Puppeteer و ActionMesh هم مقایسه شده.

نکات کلیدی:

• JCA از متن، ویدیو و حرکت سه‌بعدی هماهنگ رو برای rigهایی با هر ساختاری می‌سازه.
• مدل حرکت جداست و فقط با چندتا لایهٔ cross-attention به مدل ویدیو وصل می‌شه.
• دادهٔ آموزشی نزدیک ۲۰۰ هزار جفت ویدیو و حرکت هست.
• قابلیت‌های جانبی: ویدیو به حرکت، حرکت به ویدیو، و کنترل با keyframe.
• با پیدا کردن جای مفصل‌ها توی فریم، دوربین بازسازی می‌شه و حرکت توی صحنهٔ سه‌بعدی قرار می‌گیره.