وقتی مدلهای زبانی واقعاً ویدیو میبینن
هوش مصنوعی
پایتونخلاصهٔ کاملتر
نویسنده میگه یه مقاله دربارهٔ ویدیو در واقع فشردهسازی یه آدم دیگهست: یکی نگاه کرده، تصمیم گرفته چی مهمه و بقیه رو دور ریخته. وقتی مدل فقط اون متن رو میخونه، داخل انتخابهای اون آدم گیر میافته و چیزی که حذف شده رو دیگه نمیتونه برگردونه. اما اگه خود ویدیو رو بهش بدی، مرحلهٔ فشردهسازی میره سمت خود مدل و پیام خطایی که یه لحظه رو صفحه اومده یا کاتهای پنهون یه دموی «سریع» رو خودش میبینه.
محدودیت اصلی بودجهٔ توکنه؛ تصویر گرونترین چیزیه که میشه تو کانتکست گذاشت، پس با سقف حدود صد تا صد و پنجاه فریم، مسئله دیگه استخراج نیست، انتخابه. نمونهبرداری هر ثانیه هم مدل رو غرق فریمهای تکراری میکنه هم همون ثانیهٔ مهم رو رد میکنه. پاس اول کار، امتیاز scene در ffmpeg هست، ولی آستانهٔ ثابت روی انیمیشن و پن آروم دوربین میمیره؛ راهحل نویسنده اینه که فریم وقتی نگه داشته بشه که امتیازش از چند برابر میانگین متحرک بزنه بالاتر.
حذف فریم تکراری هم با یه مقایسهگر شروع شده و به سه کانال رسیده. کانال سراسری یه امضای رنگی خیلی کوچیک میسازه و اون رو با چند فریمِ نگهداشتهشدهٔ آخر مقایسه میکنه، نه فقط فریم قبلی، تا کات رفتوبرگشتی بین دو نما دوباره یه نمای تکراری رو راه نده. کانال دوم برای سوژههای کوچیکه: آدمی که نیم درصد کادر رو گرفته هیچوقت درصد لازم رو جابهجا نمیکنه، پس تغییر شدید چند خونهٔ شبکه کافیه تا فریم بمونه. نویسنده میگه این مورد رو یه کاربر بعد از اجرا روی بیش از دو هزار ویدیوی واقعی پیدا کرد.
کانال سوم سراغ تغییرهای کوچیک و محلی میره — عوض شدن زیرنویس، یه خط جوهر روی وایتبرد، آپدیت یه المان رابط کاربری — و برای اینکه نویز و لرزش سنسور به حساب تغییر نیاد، جابهجایی یکپیکسلی رو مجاز میدونه. متن هم از زیرنویس داخلی یا Whisper محلی میاد و اتصال فریم به جمله از قبل حساب میشه تا روی ویدیوهای بلند بههم نریزه. تازهترین لایه یه سرور MCP هست که هر کلاینتی میتونه watch_video رو صدا بزنه و بستهٔ ادغامشده رو بگیره.
نکات کلیدی:
- سقف واقعی حدود صد تا صد و پنجاه فریم برای هر ویدیوئه، پس هر فریم باید جاش رو توجیه کنه
- آستانهٔ نسبی روی میانگین متحرک، انیمیشن و حرکت آروم دوربین رو نجات میده
- سه کانال حذف تکراری: سراسری، سوژهٔ کوچیک با تغییر شدید، و تغییر محلی روی صحنهٔ ساکن
- اتصال فریم و رونوشت از قبل حساب میشه تا روی ویدیوهای بلند بههم نریزه
- ابزار claude-real-video با مجوز MIT و کاملاً محلی کار میکنه
