‏تست ساخت یه ابزار تشخیص ویدیوهای جعلی هوش مصنوعی

یه توسعه‌دهنده به خاطر سیل ویدیوهای جعلی که این روزا تو تیک‌تاک و اینستاگرام می‌بینیم، تصمیم گرفت یه سایت بسازه که لینک ویدیو رو می‌گیری و بهت می‌گه ساختگیه یا نه. برای این کار از ChatGPT و Codex برای کدنویسی، از Gemini برای فهم محتوای ویدیو، و بعدا از یه سرویس جانبی به اسم Sightengine برای امتیازدهی تشخیص هوش مصنوعی استفاده کرد.

مشکل از همون اول شروع شد: نسخه اول ابزار یه ویدیوی وایرال از یه زن با یه جت‌پک بادی رو که کاملا معلوم بود ساختگیه، «احتمالا واقعی» اعلام کرد. دلیلش این بود که Gemini (مدلی که برای فهمیدن محتوای ویدیو استفاده می‌شه، نه فقط عکس‌های تکی) الگوهای عجیب تو تصویر رو به جلوه‌های ویژه سنتی ربط می‌داد، نه به هوش مصنوعی مولد.

بعد از یه جلسه کدنویسی ۸ ساعته که به بن‌بست خورد، تصمیم گرفتن به‌جای ساختن تشخیص از صفر، از Sightengine استفاده کنن؛ یه API پولی که ماهی حدود ۲۹ دلار می‌گیره چون نسخه رایگانش اصلا ویدیو رو پشتیبانی نمی‌کنه. بعد از وصل کردنش دقت بهتر شد، ولی یه مشکل جدید پیش اومد: هروقت Sightengine می‌گفت ویدیو ساختگیه ولی Gemini چیز مشکوکی نمی‌دید، ابزار به‌جای اعتماد به Sightengine جواب «نامشخص» می‌داد.

بعد از اصلاح این منطق و اولویت دادن به نتیجه Sightengine، ابزار تونست از ۳۹ ویدیوی شناخته‌شده هوش مصنوعی، ۲۳ تاش رو درست تشخیص بده و فقط ۲ تا از ۳۶ ویدیوی واقعی رو اشتباهی ساختگی اعلام کنه؛ عددی بهتر از حدس زدن الکی، ولی هنوز کافی نیست که بشه بهش به‌عنوان یه جواب قطعی اعتماد کرد.

نکات کلیدی:

• ابزار از ترکیب ChatGPT و Codex برای کدنویسی، Gemini برای فهم ویدیو، و سرویس Sightengine برای امتیازدهی ساخته شده
• Sightengine حدود ۲۹ دلار در ماه هزینه داره چون تشخیص ویدیو تو نسخه رایگانش نیست
• دقت نهایی: ۲۳ از ۳۹ ویدیوی هوش مصنوعی درست تشخیص داده شد و فقط ۲ تا از ۳۶ ویدیوی واقعی اشتباه گرفته شد
• SynthID گوگل فقط ویدیوهای ساخته‌شده با ابزارهای خود گوگل رو تشخیص می‌ده، نه هر ویدیوی هوش مصنوعی‌ای