کلود ویدیو: قابلیت «تماشای» ویدیو رو به Claude میده
هوش مصنوعیخلاصهٔ کاملتر
به گفتهٔ سازنده، مشکل اینه که Claude میتونه یه صفحهٔ وب رو بخونه، اسکریپت اجرا کنه یا تو یه ریپو بچرخه، ولی از خودش نمیتونه یه ویدیو رو ببینه. وقتی یه لینک یوتیوب بهش میدی، یا باید از رو عنوان حدس بزنه یا به یه متن گفتار متکی بشه که ۹۰ درصد چیزی که رو صفحهست رو جا انداخته. اسکیل کلود ویدیو (Claude Video) با دستور /watch دقیقاً همینو حل میکنه.
طرز کارش اینه که یه URL یا مسیر فایل لوکال میدی و یه سؤال میپرسی؛ بعد ابزار اول زیرنویس رو چک میکنه، فقط چیزی که لازمه رو دانلود میکنه، فریمها رو میکشه بیرون، یه متن گفتارِ زمانبندیشده تهیه میکنه و هر فریم رو مثل یه تصویر به Claude میده. تا وقتی جواب میده، عملاً ویدیو رو دیده و صداش رو شنیده.
پشت صحنه دو تا ابزار متنباز کار میکنن: yt-dlp که لینکهای یوتیوب، Loom، تیکتاک، X، اینستاگرام و چند صد سایت دیگه رو پشتیبانی میکنه، و ffmpeg که فریمها رو استخراج میکنه. متن گفتار اول از زیرنویس بومیِ خود ویدیو میاد که رایگان و فوریه؛ فقط اگه ویدیو اصلاً زیرنویس نداشته باشه، یه کلیپ صوتی سبک جدا میشه و میره به Whisper (مدل whisper-large-v3 گروک یا whisper-1 اوپنایآی).
نویسنده میگه هزینهٔ توکن عمدتاً از فریمها میاد چون هر فریم یه تصویره و توکن تصویری سریع بالا میره. برای همین یه منطق auto-fps گذاشته که بودجهٔ فریم رو بر اساس طول ویدیو تنظیم میکنه؛ مثلاً یه ویدیوی زیر ۳۰ ثانیه حدود ۳۰ فریم میگیره ولی ویدیوی بالای ۱۰ دقیقه سقفدار میشه و پیام «اسکن پراکنده» میده. اگه کاربر یه لحظهٔ خاص رو نام ببره، با --start و --end میشه رو همون بازه تمرکز کرد که هم دقیقتره هم ارزونتر.
یه بخش جالبش حذف فریمهای تکراریه. مثلاً یه اسکرینرکورد که ۹۰ ثانیه رو یه اسلاید میمونه، دهها فریم تقریباً یکسان تولید میکنه که هر کدوم جدا حساب میشن. یه پاس dedup این فریمها رو حذف میکنه: هر فریم رو به یه بندانگشتیِ ۱۶ در ۱۶ خاکستری تبدیل میکنه و اختلاف روشناییِ هر فریم رو با آخرین فریمی که نگهداشته شده میسنجه؛ اگه اختلاف از آستانه کمتر باشه، فریم بهعنوان تکراری کنار گذاشته میشه.
نویسنده چند دیال کیفیت هم گذاشته: حالت transcript فقط متن گفتار رو میگیره و ارزونترینه، efficient با کیفریمها یه پاس سریع میزنه، balanced فریمهای آگاه از تغییر صحنه رو با سقف ۱۰۰ برمیداره، و token-burner سقف رو برمیداره و همهٔ فریمهای تغییر صحنه رو نگه میداره. نصبش هم رو Claude Code و بیشتر از ۵۰ میزبان دیگه مثل Codex و Cursor کار میکنه و پروژه با مجوز MIT متنبازه.
نکات کلیدی:
- اسکیل /watch به Claude اجازه میده ویدیو رو واقعاً ببینه و بشنوه، نه اینکه از عنوان حدس بزنه
- با yt-dlp و ffmpeg فریم استخراج میکنه و متن گفتار زمانبندیشده تحویل میده
- زیرنویس رایگان اولویت داره؛ Whisper فقط وقتی زیرنویس نیست فعال میشه
- منطق auto-fps و حذف فریمهای تکراری هزینهٔ توکن رو کنترل میکنه
- روی Claude Code و بیشتر از ۵۰ میزبان دیگه نصب میشه؛ متنباز با مجوز MIT
