‏framefields: ساخت ویدیو با TypeScript برای ایجنت‌های کدنویسی

framefields یه موتور مبتنی بر WebGPU (یعنی API جدیدی برای کار مستقیم با کارت گرافیک) هست که برای تولید ویدیو، ویرایش عکس و موشن گرافیک ساخته شده. همه‌چی با TypeScript نوشته می‌شه و مستقیم به MP4 یا PNG رندر می‌شه. سازنده‌ها روی این تأکید دارن که ایجنت کدنویسی بتونه فایل ویدیو رو بنویسه، یه شبکه از فریم‌ها رو چک کنه، ایرادها رو درست کنه و بعد خروجی نهایی بگیره.

طبق صفحه‌ی خود پروژه، یه دموی ۲۵۵ فریمی با رزولوشن ۱۹۲۰×۱۰۸۰ با نسخه‌ی framefields@2.1.1 روی یه Apple M1 Pro تو ۲.۶ ثانیه رندر شده. متن‌ها با محاسبه‌ی منحنی حروف برای هر پیکسل روی GPU کشیده می‌شن، برای همین از ۱۰ تا ۱۰٬۰۰۰ پیکسل تیز می‌مونن. انیمیشن حرف‌به‌حرف به سبک After Effects هم داره.

امکانات دیگه‌ش زیاده: سه‌بعدی با دوربینی که ۱:۱ با پیکسل‌های دوبعدی جوره و از مدل‌های OBJ، FBX و glTF پشتیبانی می‌کنه، بیش از ۵۰ افکت ویرایش تصویر مثل curves، LUT سه‌بعدی و film grain، و بینایی ماشین روی خود دستگاه با ONNX برای تشخیص اشیا، segmentation و جدا کردن آدم از پس‌زمینه. صدا هم روی همون ساعت فریم‌ها می‌شینه و نمودارها و فایل‌های Lottie هم لایه‌های معمولی‌ان.

سازنده‌ها توضیح دادن چرا سراغ ضبط یه مرورگر headless نرفتن. تو Chromium اول DOM چیده می‌شه و بعد اسکرین‌شات گرفته می‌شه، زمان‌بندی با تایمرهای واقعی انجام می‌شه که ممکنه عقب‌جلو بشن، و هر worker بین ۲ تا ۴ گیگ حافظه می‌خواد. تو framefields زمان همون شماره‌ی فریمه و هر worker بین ۲۰۰ تا ۴۰۰ مگ مصرف می‌کنه. برای تست هم می‌شه شبکه‌ی فریم‌ها رو رندر کرد و تو Vitest روی پیکسل‌ها assert نوشت.

یه بخش پولی به اسم AI Gateway هم داره که بیش از ۱۰۰ مدل تولید عکس، ویدیو و صدا رو پشت یه کلید API و یه حساب پیش‌پرداخت جمع می‌کنه. هزینه‌ی هر تولید برابر قیمت خود سرویس‌دهنده به‌اضافه‌ی یه حاشیه‌ی کوچیکه. از همون کد TypeScript می‌شه یه تصویر تولید کرد و مستقیم به عنوان لایه گذاشتش:

const { data } = await ai.subscribe("flux/schnell", {
  input: { prompt: "Neon monolith rotating in mist, 35mm film" },
});

const hero = Layer.image(data.images[0].url);

برای کارهای طولانی subscribe()، برای فراخوانی‌های سریع run() و برای گرفتن نتیجه به شکل استریم stream() در نظر گرفته شده.

نکات کلیدی:

• framefields یه پکیج npm هست که ویدیو و تصویر رو با TypeScript روی GPU رندر می‌کنه.
• دموی ۲۵۵ فریمی با رزولوشن ۱۹۲۰×۱۰۸۰ روی M1 Pro تو ۲.۶ ثانیه رندر شده.
• هر worker بین ۲۰۰ تا ۴۰۰ مگ حافظه می‌خواد، در مقابل ۲ تا ۴ گیگ برای Chromium headless.
• بینایی ماشین با ONNX، سه‌بعدی، صدا، نمودار و Lottie همه تو یه پکیجن.
• AI Gateway بیش از ۱۰۰ مدل رو با یه کلید API و پرداخت پیش‌پرداخت در دسترس می‌ذاره.