‏Gemini Omni 1.2 Flash: ویدیوی 15 ثانیه‌ای با دیالوگ

Gemini Omni 1.2 Flash مدل به‌روزشده‌ی ساخت ویدیوی گوگله که حالا از طریق Google AI Studio، Vertex AI و Gemini API در دسترس همه‌ست. طول کلیپ از 10 به 15 ثانیه رسیده و می‌شه هر مدت دقیقی بین 3 تا 15 ثانیه رو انتخاب کرد. دیالوگ، افکت صوتی و تطبیق صدای چند گوینده هم مستقیم تو خروجی هست.

قیمت 720p حالا 7 سنت به ازای هر ثانیهست که گوگل می‌گه حدود 30 درصد ارزون‌تر از قبله. تو این مقاله اومده که ساخت ویدیو همیشه یکی از گرون‌ترین حوزه‌های آزمایش با AI بوده، چون یه کلیپ بد می‌تونه بخشی از بودجه رو بسوزونه. حالا می‌شه اول با رزولوشن پایین پیش‌نویس ساخت و فقط کلیپ‌های خوب رو به 1080p یا 4K ارتقا داد، یعنی دیگه لازم نیست برای هر تلاش پول کامل بدی.

یکی از قابلیت‌های جالب، دیالوگ چندنفره با lip sync هست (یعنی هماهنگ شدن حرکت لب با صدا). گوگل یه تصویر صحنه از یه گلخونه‌ی پر از گل ارکیده رو همراه با نمونه‌ی صدای کوتاه چهار شخصیت به مدل داد و یه صحنه‌ی 15 ثانیه‌ای گرفت که هر شخصیت با صدای خودش حرف می‌زد. سختی کار اینه که مدل باید بدونه کی داره حرف می‌زنه، صدای درست رو روی دهن درست بذاره و زمان‌بندی رو بین کات‌ها نگه داره. نویسنده می‌گه تست خودش تو AI Studio هم نتیجه‌ی مشابهی داد.

نقطه‌ی قوت دیگه، نگه داشتن یه نمای پیوسته بدون jump cut هست. با یه prompt متنی، مدل یه نمای پهپادی 15 ثانیه‌ای از قله‌ی کوه تا دره‌ی یخچالی و چمنزار ساخت. یه نمونه‌ی دیگه با کمک عکس‌های مرجع معماری، یه مسیر اول‌شخص از میدون، درهای برنزی و بالا تا گنبد رو بی‌کات ساخت. به گفته‌ی نویسنده، مدل‌ها معمولاً تو نماهای طولانی هندسه‌ی صحنه رو گم می‌کنن، پس این یعنی پیشرفت جدی تو ثبات زمانی و فضایی.

تو ثبات هویت و اشیا هم یه نمونه‌ی پرو مجازی لباس نشون داده شد: یه عکس مدل با عکس جلو و پشت سه لباس، و خروجی 15 ثانیه‌ای با چرخش 360 درجه که بافت و فرم لباس‌ها ثابت موند. تو مقایسه با نسخه‌ی 1.1 روی یه prompt یکسان، نسخه‌ی 1.2 متن و جنس پوستر مرجع رو دقیق‌تر حفظ کرد. ویرایش کلیپ با prompt بعدی، مثلاً عوض کردن پس‌زمینه، هم پشتیبانی می‌شه.

نویسنده معتقده این مدل برای ویدیوهای کوتاه، تبلیغ، کلیپ شبکه‌های اجتماعی و ایده‌پردازی صحنه خیلی مناسبه. ولی هنوز یه مدل کلیپ 15 ثانیه‌ایه و برای روایت‌های یه دقیقه‌ای باید چندتا خروجی رو دستی به هم وصل کنی.

نکات کلیدی:

• حداکثر طول کلیپ 15 ثانیه‌ست (قبلاً 10) و هر مدت بین 3 تا 15 ثانیه قابل انتخابه.
• قیمت 720p هفت سنت به ازای هر ثانیه‌ست، حدود 30 درصد ارزون‌تر از نسخه‌ی قبل.
• می‌شه با رزولوشن پایین پیش‌نویس ساخت و بعد به 1080p یا 4K ارتقا داد.
• از دیالوگ چندشخصیتی با صدای جدا و lip sync پشتیبانی می‌کنه.
• از طریق Google AI Studio، Vertex AI و Gemini API در دسترسه.