‏گوگل اولین ارزیابی دوسوکور مدل هوش مصنوعی رو انجام داد

گوگل دیپ‌مایند می‌گه اولین ارزیابی دوسوکور (double-blind) دنیا رو روی یه مدل اختصاصی و frontier، یعنی رده‌بالاترین نسل مدل‌ها، انجام داده. تو این پایلوت یه مدل Gemini Flash Lite با بنچمارک‌های محرمانه تست شده، بدون اینکه هیچ‌کدوم از دو طرف لازم باشه دارایی محرمانه‌اش رو تحویل بده. شریک‌های این کار مؤسسهٔ ایمنی هوش مصنوعی سنگاپور، OpenMined، AVERI و MLCommons بودن.

مشکلی که این کار سراغش رفته اسمش آلودگی بنچمارکه (benchmark contamination، یعنی وقتی مدل سؤال‌های آزمون رو قبل از تست دیده). تو مقاله اومده که این وضع دقیقاً مثل دانش‌آموزیه که اتفاقی سؤال‌های امتحان رو دیده؛ نمرهٔ کاملش دیگه چیزی رو ثابت نمی‌کنه. برای سیاست‌گذار، پژوهشگر و شرکتی که به این نمره‌ها تکیه می‌کنه، این یعنی اعتماد به بنچمارک از بین می‌ره.

تا حالا ارزیابی بیرونی یه معاملهٔ ناخوشایند بود: یا ارزیاب پرامپت‌های تستش رو تحویل می‌داد، یا سازندهٔ مدل وزن‌های مدلش رو. به گفتهٔ نویسنده‌ها این دوراهی با Confidential Space از سرویس Confidential Computing گوگل کلاد برداشته شده؛ یه محیط اجرای ایزوله که می‌شه رمزنگارانه تأیید کرد داده‌های هر طرف پیش خودش می‌مونه.

نویسنده‌ها می‌گن پروتکل‌های no-logging و تعهدهای قراردادی از قبل هم بودن، ولی اضافه‌شدن تضمین فنی و رمزنگاری یه قدم جدیه، مخصوصاً برای ارزیابی‌های حساس مثل امنیت سایبری یا اونایی که نهادهای دولتی انجام می‌دن. امیدشون اینه که این پایلوت به یه استاندارد تازه برای نظارت روی مدل‌ها تبدیل بشه. گزارش فنی کامل هم منتشر شده.

نکات کلیدی:

• مدل تست‌شده Gemini Flash Lite بود، تو یه پایلوت دوسوکور
• ارزیاب وزن‌های مدل رو نمی‌بینه و گوگل هم پرامپت‌های تست رو
• زیرساخت کار: Confidential Space از پورتفوی Confidential Computing گوگل کلاد
• شریک‌ها: مؤسسهٔ ایمنی هوش مصنوعی سنگاپور، OpenMined، AVERI و MLCommons
• هدف: جلوگیری از benchmark contamination بدون لو رفتن وزن‌های مدل