Sora بعدی یه مدل بهتر نیست؛ یه ایجنته
هوش مصنوعیخلاصهٔ کامل‌تر
پادکست Latent Space این بار میزبان اتان هی بوده: مهندسی که اول رهبری world model معروف Cosmos رو توی انویدیا به عهده داشت و بعد به xAI رفت و اونجا با یه تیم کوچیک، مدل تولید ویدیوی Grok Imagine رو از صفر — بدون زیرساخت، داده و مدل قبلی — توی سه ماه ساخت و منتشر کرد.
ادعای جنجالی او اینه که مدل‌های ویدیویی هوش‌شون رو عمدتاً از LLMها می‌گیرن، نه از آموزش روی داده ویدیویی؛ و مرز بعدی world modelهای تعاملی و بلادرنگ هم از مسیر مدل‌های زبانی می‌گذره. خلاصه‌ش در یه جمله: «Sora بعدی یه مدل ویدیویی بهتر نیست، یه ایجنت ویدیوییه.» تولید رسانه قراره مسیر تکامل کدنویسی با AI رو بره: از خروجی یک‌ضرب به سیستم‌هایی که برنامه‌ریزی می‌کنن، تولید می‌کنن، ویرایش و نقد می‌کنن و دوباره تکرار می‌کنن. حالت Agent Mode خود Grok Imagine هم الان نسخه بتای همین ایده‌ست.
بخش فنی گفتگو پر از جزئیاته: آموزش مدل ویدیویی از ساخت مدل تصویری شروع میشه چون نگاشت زبان به تصویر متراکم‌تر و ارزون‌تره. داده هم تقریباً صددرصد جفت‌های مصنوعی متن-ویدیوئه که با VLMها ساخته می‌شن، چون متنی که کنار ویدیوهای اینترنت هست معمولاً ربطی به محتواشون نداره. بعد یه VAE تصویر و ویدیو رو به فضای نهفته فشرده می‌کنه تا ترنسفورمر دیفیوژن بتونه روش آموزش ببینه.
یکی از تریدآف‌های کلیدی، فشرده‌سازی زمانیه: فشردن چند فریم توی یه توکن طول کانتکست رو حسابی کم می‌کنه، ولی برای ویدیوی تعاملی مشکل تأخیر می‌سازه؛ تولید فریم‌به‌فریم گرون‌تره ولی اجازه می‌ده مدل فوری به ورودی کاربر جواب بده. به همین خاطر اتان پروژه‌هایی مثل Flipbook رو جدی می‌گیره: مرورگری که کل UIش رو یه مدل تصویری در لحظه تولید می‌کنه — ایده «generative UI» که به نظرش می‌تونه روزی جای HTML/CSS رو بگیره و رابط کاربری رو از قصد کاربر مستقیم به پیکسل برسونه.
از تجربه ساخت سریع هم درس‌های ملموسی داره: مهم‌ترین عامل، سرعت تکراره نه جلسه‌ها؛ و بیشترین بهبود کیفیت مدل نه از الگوریتم‌های جدید، بلکه از پیداکردن باگ‌های ریز توی پایپلاین داده و آموزش میاد. نکته قابل تأملش هم اینه که با خوب‌شدن مدل‌های کدنویس، پیاده‌سازی ایده‌ها از چند هفته به چند ساعت رسیده و دوباره کامپیوت داره گلوگاه سرعت پژوهش میشه.
پایان ماجرا هم خودش خبره: اتان بعد از ساخت Grok Imagine و کار روی world model بلادرنگ، از xAI جدا شده و تمرکزش رو گذاشته روی LLMها — مشخصاً مدیریت خودکار کانتکست و حافظه که به نظرش مرز بعدی مدل‌های زبانیه. اگه پیش‌بینیش درست از آب دربیاد، سال آینده به‌جای رقابت سر بهترین مدل ویدیویی، رقابت سر بهترین ایجنت ویدیویی رو می‌بینیم.
نکات کلیدی:
- Grok Imagine با یه تیم کوچیک و در سه ماه از صفر ساخته شد
- ادعا: هوش مدل‌های ویدیویی از LLMها میاد، نه صرفاً داده ویدیویی
- نسل بعد، ایجنت‌های ویدیویی‌ان: برنامه‌ریزی، تولید، ویرایش و نقد در یه سیستم
- آموزش با جفت‌های مصنوعی متن-ویدیو و بوت‌استرپ از مدل تصویری
- تریدآف فشرده‌سازی زمانی در برابر تعامل بلادرنگ
- ایده generative UI مثل Flipbook شاید روزی جایگزین HTML/CSS بشه
