‏ابزارهای تشخیص ویدیوی هوش مصنوعی هنوز قابل‌اعتماد نیستن

یه تست عملی، مدل درک ویدیوی جمینای گوگل رو کنار سرویس تجاری تشخیص محتوای Sightengine گذاشت تا ببینه کدوم بهتر می‌تونه ویدیوی ساخته‌شده با AI رو از فیلم واقعی جدا کنه. نتیجه این بود که نه‌تنها هیچ‌کدوم به‌تنهایی قابل‌اعتماد نبودن، بلکه ترکیب‌کردنشون با هم هم نتیجه‌ی بهتری نداد.

جمینای تو این تست ضعیف عمل کرد. رو ویدیوهایی که مطمئنا با AI ساخته شده بودن، مثل یه کلیپ که قد یه آدم از یه هواپیما بلندتر می‌شد و بعد کوچیک‌تر از اون می‌شد که بتونه داخلش راه بره، جمینای گفت «نشونه‌ی واضحی از AI بودن نیست» و یه بار حتی با اطمینان بالا گفت این ویدیو احتمالا AI نیست.

Sightengine که مخصوص تشخیص محتوای ساختگیه، عملکرد بهتری داشت و تو چند مورد، AI بودن ویدیو رو تشخیص داد در حالی که جمینای هیچی نگرفته بود. مشکلش اینه که فقط می‌گه کدوم فریم‌ها مشکوکن، بدون این‌که توضیح بده دقیقا چی تو اون فریم غیرطبیعیه؛ در مقابل جمینای لااقل یه دلیل نوشتاری می‌ده، حتی وقتی نتیجه‌ش غلطه.

وقتی این دو ابزار با هم قاطی شدن، سیستم هر بار که جمینای و Sightengine باهم اختلاف داشتن، جواب رو «نامشخص» اعلام می‌کرد؛ حتی رو یه ویدیوی کاملا AI که Sightengine با اطمینان (۱۹ از ۲۳ نقطه‌ی نمونه‌برداری‌شده) تشخیصش داده بود. راه‌حل این بود که به Sightengine اولویت بدن، نه این‌که رای هر دو ابزار رو برابر بشمرن. حتی بعد این اصلاح، یه دور تست خودکار فقط ۲۳ تا از ۳۹ ویدیوی شناخته‌شده‌ی AI رو درست گرفت.

نویسنده می‌گه SynthID گوگل هم راه‌حل کامل نیست، چون فقط تایید می‌کنه یه ویدیو با ابزارهای خود گوگل ساخته شده یا نه، و درباره‌ی ویدیوهای ساخته‌شده با پلتفرم‌های دیگه هیچی نمی‌گه. نتیجه‌گیری مقاله اینه که ساختن یه دیتکتور شخصی همین الان به‌درد کاربر عادی نمی‌خوره، ولی برای محصولاتی که می‌خوان این قابلیت رو اضافه کنن، ترکیب یه مدل عمومی با یه ابزار تخصصی مثل Sightengine ارزش داره، به شرطی که منطق دسته‌بندیِ اختلاف‌نظر دو تا ابزار درست طراحی بشه.

نکات کلیدی:

• تو تست عملی، جمینای گوگل رو ویدیوهای واضحا AI هم اغلب «نشونه‌ی AI نیست» اعلام کرد.
• Sightengine (سرویس پولی) عملکرد بهتری داشت ولی فریم‌های مشکوک رو بدون توضیح دلیل، فقط علامت می‌زنه.
• ترکیب ساده‌ی دو ابزار با رای برابر، باعث می‌شد اختلاف‌نظر به «نامشخص» تبدیل بشه و سیگنال درست هدر بره.
• بهترین دیتکتور ساخته‌شده تو این تست، فقط حدود ۵۹ درصد (۲۳ از ۳۹) ویدیوهای AI رو درست تشخیص داد.
• SynthID گوگل فقط محتوای ساخته‌شده با ابزارهای خود گوگل رو تایید می‌کنه، نه ویدیوهای پلتفرم‌های دیگه رو.