مدل جهانی ByteDance که فیلم‌های قدیمی رو دوباره فیلم‌برداری می‌کنه
هوش مصنوعیClaude Opus 5.5خلاصهٔ کامل‌تر
ByteDance تو یه رویداد به اسم Tonight تو پکن یه world model (یعنی مدلی که یه محیط تعاملی می‌سازه و میشه توش گشت) نشون داد که هنوز اسم نداره. تو این مقاله اومده که ویدیوهایی که از این رویداد پخش شده رسمی نیستن و حاضرها ضبطشون کردن، پس جزئیات کامل نیست. ولی چیزی که نشون داده شده با دموهای قبلی این حوزه فرق جدی داره.
بیشتر world modelهایی که تا حالا دیدیم یه الگو دارن: وارد یه محیط ساختگی می‌شی، با کلیدهای WASD راه می‌ری و صحنه معمولاً کمتر از یه دقیقه سر پا می‌مونه. دموی ByteDance اول کنترل دوربین با موس داره که به گفتهٔ نویسنده بیشتر شبیه کار با viewport یه ابزار سه‌بعدیه. دوم اینکه میشه یه شیء (مثلاً یه قاشق) رو با prompt وارد صحنه کرد و شخصیت‌ها بهش واکنش نشون بدن.
مهم‌ترین بخش، camera retracking بود، یعنی گرفتن یه نمای از قبل فیلم‌برداری‌شده و ساختن یه مسیر جدید برای دوربین تو همون صحنه و همون بازی. اینجا روی یه صحنه از فیلم King of Comedy استیون چاو انجام شد. این کار سخت‌تر از ساختن محیط از روی متنه، چون مدل باید عمق و هندسهٔ سه‌بعدی صحنه رو از یه تصویر دوبعدی دربیاره. انتخاب این فیلم احتمالاً به قرارداد لایسنسی برمی‌گرده که چاو با ByteDance برای ویدیوی ساخت AI بسته.
نویسنده می‌گه برای آدمای حوزهٔ فیلم این خیلی بیشتر از یه دموی جالبه. میشه بعد از فیلم‌برداری مشکل چیدمان صحنه رو درست کرد، زاویه‌هایی ساخت که هیچ‌وقت گرفته نشدن، یا از یه اجرا چند نسخهٔ نهایی درآورد. یه مدل کسب‌وکار هم داره شکل می‌گیره: صاحب‌های حق، فیلمشون رو لایسنس می‌دن و این ابزارها اون رو از نو قاب‌بندی می‌کنن.
تو رابط کاربری دمو، کنترل‌های سه‌بعدی و چیزی شبیه Gaussian splat (یعنی روشی برای نمایش صحنهٔ سه‌بعدی با کلی نقطهٔ رنگی نرم) دیده شد. یه نمای دیگه هم سه لایهٔ محیطی و یه خط که احتمالاً مسیر دوربینه رو نشون می‌داد. به گفتهٔ نویسنده این یعنی سیستم یه نمایش فضایی واقعی از صحنه می‌سازه، نه فقط تولید فریم به فریم ویدیو، هرچند معماری دقیقش معلوم نیست.
زمان این دمو با گزارش‌هایی جور درمیاد که ByteDance داره هدست VR به اسم Pico Space Pro رو به عنوان رقیب ارزون‌تر Apple Vision Pro می‌سازه. مدلی که از فیلم دوبعدی صحنهٔ سه‌بعدی قابل گشت‌وگذار بسازه، می‌تونه برای چنین هدستی محتوا تولید کنه. البته ByteDance رابطهٔ مستقیم این دو تا رو تأیید نکرده.
نکات کلیدی:
- world model جدید ByteDance هنوز اسم و تاریخ عرضه نداره و قابل امتحان نیست.
- کنترل دوربین با موس داره، نه کلیدهای WASD مثل بیشتر دموهای قبلی.
- camera retracking روی یه صحنهٔ واقعی از فیلم King of Comedy استیون چاو نشون داده شد.
- نشونه‌هایی از کنترل سه‌بعدی و احتمال استفاده از Gaussian splat تو رابط کاربری دیده شد.
- هدست شایعه‌شدهٔ Pico Space Pro می‌تونه یکی از مصرف‌کننده‌های این فناوری باشه.
