Omnihuman 2.0؛ آواتار سخنگوی ByteDance حالا دوربین متحرک داره
هوش مصنوعیClaude Opus 5.5خلاصهٔ کامل‌تر
Omnihuman 2.0 نسخهٔ جدید مدل آواتار و lip-sync (یعنی هماهنگ کردن حرکت لب با صدا) شرکت ByteDance هست. یه عکس و یه فایل صوتی مثل دیالوگ، نریشن یا آهنگ می‌گیره و ویدیویی می‌سازه که اون آدم توش حرف می‌زنه یا اجرا می‌کنه. حرکت دهن، حالت صورت و بدن هم با صدا جور درمیاد.
تو این مقاله اومده که بیشتر ابزارهای آواتار یه محدودیت مشترک دارن: دوربین تکون نمی‌خوره. معمولاً یه نمای ثابت از سر و شونه می‌گیری با حرکت‌های خشک دست و صورت بی‌حس، که بهش می‌گن اثر bobblehead. Omnihuman 2.0 حرکت دوربین مثل pan و push رو وارد همین روند کرده. با احساسات بهتر و lip-sync دقیق‌تر، خروجی بیشتر شبیه یه اجرای فیلم‌برداری‌شده‌ست تا یه آواتار.
ولی دو تا ضعف اصلی داره. اول اینکه فقط از عکس کار می‌کنه و نمی‌شه یه ویدیوی مرجع بهش داد تا اجرا رو از روش کپی کنه، کاری که بعضی ابزارهای رقیب می‌کنن. دوم اینکه جزئیات دهن کامل نیست. دندون‌ها هنوز artifact دارن و بعضی صداها، مخصوصاً diphthongها (یعنی واکه‌های دوتایی مثل صدای وسط coin یا loud)، دقیق با شکل دهن جور نمی‌شن. این‌ها تو نمای نزدیک بیشتر به چشم میان.
نویسنده می‌گه بعضی اجراهای دمو زیادی پراحساس و نمایشی‌ان و دموی همهٔ آزمایشگاه‌ها معمولاً دستچین شده. پس کیفیت نسخهٔ عمومی احتمالاً یه کم پایین‌تر از این ویدیوها میشه و برای رسیدن به یه اجرای آروم و طبیعی شاید لازم باشه چند بار prompt رو عوض کنی.
به گفتهٔ نویسنده کاربرد اصلیش «وصله‌کاری» تو فیلم‌های ساخت AI هست، نه ساختن کل صحنه. ابزارهای کامل ساخت صحنه گاهی موقع تولید دوباره، دیالوگ رو عوض می‌کنن یا از فیلمنامه دور می‌شن. Omnihuman فقط یه کار می‌کنه: این صورت رو با همین صدا هماهنگ کن. برای همین وقتی یه نمای نزدیک یا یه خط دیالوگ دقیق لازم داری، قابل اعتماده.
موقع معرفی، این مدل محدود به بعضی منطقه‌ها بود و قراره از طریق Dreamina، پلتفرم خلاقیت ByteDance، در دسترس‌تر بشه. همزمان ByteDance یه world model با قابلیت حرکت دادن دوربین تو فیلم‌های موجود هم نشون داده و شایعهٔ یه هدست VR ارزون‌تر از Vision Pro هم هست. نویسنده معتقده این تیکه‌ها هنوز یه محصول واحد نیستن ولی دارن به سمت یه زنجیرهٔ کامل تولید محتوا می‌رن.
نکات کلیدی:
- Omnihuman 2.0 از یه عکس ثابت و یه فایل صوتی، ویدیوی سخنگو یا آوازخوان می‌سازه.
- قابلیت جدید اصلیش حرکت سینمایی دوربین وسط اجرای آواتاره.
- از ویدیوی مرجع برای هدایت اجرا پشتیبانی نمی‌کنه.
- رندر دندون‌ها و هماهنگی بعضی واکه‌ها مثل diphthongها هنوز مشکل داره.
- قراره از طریق Dreamina عرضه بشه ولی موقع معرفی محدود به بعضی منطقه‌ها بود.
