چارچوب گوگل برای ویدیوی بلند و بیپرش
خلاصهٔ کاملتر
مدلهای دیفیوژن ویدیو حالا تو چند ثانیه صحنههای واقعگرایانه میسازن، ولی به گفتهٔ تیم گوگل تبدیل همون کلیپهای کوتاه به یه روایت طولانی هنوز حل نشده. پایپلاینهای ایجنتی موجود ماژولها رو زنجیره میکنن و دو مشکل دارن: semantic drift (یعنی لباس شخصیت یا فضای صحنه بین شاتها یواشیواش عوض میشه) و cascading failure (یعنی یه خرابی تو مرحلهٔ اول، مراحل بعدی رو هم خراب میکنه). چون خطای مرحلهٔ اول تا آخر کشیده میشه، رسیدن به نتیجه معمولاً کلی دخالت دستی میخواد.
جوابی که گوگل داده یه لایهٔ orchestration روی Gemini و Veo هست، نه یه مدل جدید. یعنی محافظتهای ایمنی مثل واترمارک SynthID بهطور طبیعی سر جاش میمونه. چهار قطعه داره: Co-Director که قراره تو COLM 2026 ارائه بشه، CANVAS که قراره تو EMNLP 2026 ارائه بشه، بهعلاوهٔ A²RD و VQQA. ایدهٔ مشترکشون اینه که تولید ویدیوی بلند رو یه مسئلهٔ بهینهسازی سراسری و رهگیری وضعیت دنیا ببینن، نه یه زنجیرهٔ خطی از پرامپت.
Co-Director داستانگویی ویدیویی رو به شکل یه جستوجو درمیاره. یه multi-armed bandit (یعنی الگوریتمی که بین امتحان کردن راههای تازه و تکرار راههای جوابداده تعادل برقرار میکنه) سه چیز رو انتخاب میکنه: استراتژی خلاقانه، حالت روایت و آرکتایپ زیباییشناسی. بعد این انتخاب به system prompt زیرایجنتها تزریق میشه. ایجنت پیشتولید استوریبورد میسازه، ایجنت تولید کیفریم و حرکت و صدا رو اضافه میکنه، و آخرش یه داور MLLM نسخهٔ نهایی رو نقد میکنه و سیگنال پاداش رو به bandit برمیگردونه.
CANVAS سراغ ناپایداری شخصیت و محیط رفته. یه حافظهٔ بصری پایدار نگه میداره که وضعیت شخصیتها، مکانها و اشیا رو ذخیره میکنه، و برای هر شات یا لنگر بصری قبلی رو از حافظه برمیداره یا یه لنگر تازه میسازه. تو نمونهٔ سرقت از موزه، خروجی Gemini-3.1-Pro شیء صحنه رو عوض میکنه و چیدمان اتاق هم جابهجا میشه، AutoStudio هم کلاه دزد رو گم میکنه، ولی CANVAS هندسهٔ صحنه و هویت شخصیت رو حفظ میکنه.
دو قطعهٔ آخر روی زمان و کیفیت کار میکنن. A²RD ویدیو رو قطعهقطعه میسازه و با یه حافظهٔ ویدیویی چندوجهی بین دو حالت جابهجا میشه: extrapolation برای جلو بردن داستان و interpolation برای لنگر انداختن به شخصیتها و محیطهای قبلی. VQQA هم یه بهینهساز پرامپت جعبهسیاه هست: خودش سؤال بصری میسازه، نقد VLM رو مثل گرادیان متنی به کار میبره و با Global Selection بهترین نسخه از کل مسیر بهینهسازی رو انتخاب میکنه، نه آخرین نسخه رو.
نکات کلیدی:
- Co-Director روی بنچمارک GenAD-Bench به امتیاز کیفیت ۸۱.۴ رسیده
- سه بنچمارک تازه ساختن: GenAD-Bench با ۵۰ برند خیالی و ۴۰۰ سناریو، HardContinuityBench برای پیوستگی مکانی، و LVBench-C با ۱۲۰ سناریوی متنی
- تو LVBench-C هر عنصر بصری کلیدی باید حداقل ۱۰ قطعه غیب بشه و بعد با تغییر برگرده
- A²RD یه فیلم دهدقیقهای پیوسته تولید کرده که هویت شخصیت و جزئیات لباس رو تا فریم آخر نگه داشته
- VQQA پیکسلها رو ویرایش نمیکنه و فقط پرامپت متنی رو اصلاح میکنه




