‏نگاه اول به Kling 4.0: هماهنگی لب و صدا درست شد

Kling 4.0 نسل جدید مدل ساخت ویدیوی Kuaishou هست که فعلاً به اسم Kling 4.0 Flash تو دسترسی زودهنگام اومده. Flash یعنی یه نسخه‌ی سبک‌تر و سریع‌تر که برای سرعت و هزینه‌ی کمتر بهینه شده، نه بالاترین کیفیت. این نسخه بعد از Kling 3.0 (فوریه) و یه نسخه‌ی Turbo (ژوئن) اومده. فعلاً فقط مشترک‌های سالانه‌ی پلن Ultra بهش دسترسی دارن و نسخه‌ی کامل قراره تو اکتبر منتشر بشه.

به گفته‌ی مقاله، مهم‌ترین پیشرفت تو lip sync هست، یعنی هماهنگی حرکت لب با صدای دیالوگ. تو Kling 3.0 این هماهنگی توی کلیپ‌های طولانی کم‌کم از دست می‌رفت. تو تست یه صحنه‌ی پر از دیالوگ (یه مأمور FBI که توی یه رستوران حرف می‌زنه)، Kling 4.0 کل گفت‌وگو رو بدون به‌هم ریختن هماهنگی جلو برد.

درک فضایی هم کمی بهتر شده. تو یه تست، شخصیت وارد آشپزخونه می‌شه و بعداً برمی‌گرده و سینک ظرف‌شویی همون‌جای قبلی می‌مونه. یعنی مدل هندسه‌ی صحنه رو بهتر دنبال می‌کنه. تو text-to-video نتیجه‌ها خوب بودن، ولی مدل گاهی کارهایی اضافه می‌کنه که تو prompt نبودن، مثلاً پلیسی که انگار داره یه نفر رو از روی عکس شناسایی می‌کنه.

تو image-to-video، شخصیتی که تو تصویر اصلی پشتش به دوربین بود، وقتی برگشت چهره‌ای منسجم پیدا کرد و دیالوگ هم درست پیش رفت. البته تست‌کننده‌ها می‌گن تو کلیپ‌های طولانی‌تر هنوز احتمال decoherence (یعنی به‌هم ریختن و ناهماهنگ شدن تصویر) هست، مخصوصاً چون این نسخه Flash هست.

Omni reference سیستم Kling برای ثابت نگه داشتن ظاهر یه شخصیت تو ویدیوهای مختلفه، یه چیزی مثل برگه‌ی مرجع شخصیت. حالا تا ۱۰ key frame مرجع تو هر ساخت پشتیبانی می‌شه و ترکیب key frame با Omni نتیجه‌ی بهتری داده. با این حال جزئیات فیزیک گاهی اشتباهه (شمعی که تو آتیش باید آب می‌شد، نشد) و مدل یه ژاکت خاکستری به شخصیت اضافه کرد که تو مرجع نبود.

احساس بازی شخصیت‌ها هم گاهی سرد به نظر می‌رسه، حتی وقتی بخش فنی درست کار می‌کنه. نویسنده معتقده Kling 4.0 Flash یه قدم رو به جلوی محکم نسبت به 3.0 هست، ولی لزوماً جهش بزرگی نسبت به بهترین رقیب‌ها نیست. توصیه‌ش اینه که برای کار جدی صبر کنید تا نسخه‌ی کامل و دسترسی عمومی بیاد.

نکات کلیدی:

• Kling 4.0 Flash فعلاً فقط برای مشترک‌های سالانه‌ی Ultra در دسترسه و نسخه‌ی کامل تو اکتبر میاد.
• مشکل از دست رفتن هماهنگی لب با صدا که تو Kling 3.0 بود، تا حد زیادی حل شده.
• Omni reference حالا تا ۱۰ key frame مرجع رو تو هر ساخت قبول می‌کنه.
• خروجی تو نسخه‌ی دسترسی زودهنگام به 720p محدوده.
• مدل گاهی جزئیاتی اضافه می‌کنه که نه تو prompt بودن نه تو تصویر مرجع.