Kandinsky 6.0: مدل ویدیوساز متن‌باز که روی کارت گرافیک خونگی اجرا میشه
هوش مصنوعی
پایتونخلاصهٔ کامل‌تر
مدل Kandinsky 6.0 نسخه‌ی جدید خانواده‌ی Kandinsky هست که قبلاً با مدل‌های تصویرساز روسی شناخته می‌شد و حالا رسماً وارد ساخت ویدیو شده. هم text-to-video داره هم image-to-video و صدا رو هم کنار تصویر می‌سازه. به گفته‌ی نویسنده، مهم‌ترین خبرش اینه که برای کارت گرافیک‌های خونگی طراحی شده، نه فقط برای دیتاسنتر.
مدل چند سطح داره: نسخه‌ی Lite SD برای کارت‌هایی مثل RTX 4090 ساخته شده و نسخه‌ی Pro با کیفیت full HD برای سخت‌افزار قوی‌تره. مقاله این رو با مدل Prism از Tencent مقایسه می‌کنه که همون هفته اومد. Prism تا رزولوشن 2K با صدا می‌سازه، ولی حتی برای 720p کارت 80 گیگی می‌خواد و هنوز نسخه‌ی quantizeشده (یعنی فشرده‌شده برای مصرف حافظه‌ی کمتر) نداره. Kandinsky برعکس، یه کم از کیفیت رو داده تا روی سخت‌افزاری که مردم دارن اجرا بشه.
مدل روی Hugging Face زیر سازمان kandinskylab با کتابخونه‌ی Diffusers منتشر شده. اسم checkpoint نسخه‌ی Pro یعنی Kandinsky-6.0-Pro-5s-Diffusers نشون می‌ده طول پیش‌فرض کلیپ حدود 5 ثانیه‌ست. ریپو همه‌چیز رو یه‌جا داره: transformer، یه VAE (یعنی بخشی که ویدیو رو فشرده و باز می‌کنه) برای تصویر، یه VAE جدا برای صدا، vocoder، text encoder و tokenizer. برای اجرا هم از کلاس Kandinsky6TI2VAPipeline استفاده میشه که هم متن هم تصویر ورودی رو قبول می‌کنه.
لایسنس مدل MIT هست که تو این حوزه تقریباً آزادترین حالت ممکنه. خیلی از مدل‌های ویدیویی باز دیگه محدودیت «فقط تحقیقاتی» یا غیرتجاری دارن، پس اگه می‌خوای محصول بسازی، همین لایسنس به‌تنهایی دلیل خوبیه که امتحانش کنی.
اگه حوصله‌ی نصب، درایور و دردسر VRAM رو نداری، Fal.ai نسخه‌ی میزبانی‌شده‌ش رو گذاشته و image-to-video حدود 1.40 دلار برای هر 5 ثانیه خروجی هزینه داره. نویسنده می‌گه برای تست یا کار گاه‌به‌گاه این گزینه راحت‌تره، ولی اگه حجم زیادی ویدیو می‌سازی، اجرای لوکال روی یه کارت هم‌رده‌ی 4090 زود خرجش رو درمیاره. فقط یادت باشه حتی نسخه‌ی سبک هم از ساخت تصویر کندتره و زمان ساخت با رزولوشن و طول کلیپ بالا می‌ره.
نکات کلیدی:
- Kandinsky 6.0 هم text-to-video و هم image-to-video داره و صدا رو هم‌زمان با تصویر می‌سازه
- نسخه‌ی Lite SD برای RTX 4090 طراحی شده و نسخه‌ی Pro خروجی full HD می‌ده
- لایسنس MIT هست و استفاده‌ی تجاری رو آزاد می‌ذاره
- اجرا با Diffusers و کلاس Kandinsky6TI2VAPipeline؛ طول پیش‌فرض کلیپ Pro حدود 5 ثانیه‌ست
- روی Fal.ai هزینه‌ی image-to-video حدود 1.40 دلار برای هر 5 ثانیه‌ست
- رقیبش Prism از Tencent حتی برای 720p کارت 80 گیگی می‌خواد
