‏Protege ارزیابی مستقل و دوسوکور برای هوش مصنوعی پزشکی راه انداخت

شرکت Protege که تا حالا برای آزمایشگاه‌های بزرگ AI دادهٔ پزشکی de-identified (یعنی سوابقی که اطلاعات هویتی بیمار ازشون حذف شده) فراهم می‌کرد، از سرویس Independent Evaluations رونمایی کرده. تیم Protege می‌گه گلوگاه بعدی AI پزشکی دیگه فقط دسترسی به داده نیست، بلکه اعتمادـه. به گفتهٔ اونا ۹۱٪ سازمان‌های درمانی نمی‌تونن حاکمیت AI تو محیطشون رو تأیید کنن.

این ارزیابی‌ها دوسوکور (double-blind) هستن: سازندهٔ مدل از قبل نه داده‌ها رو می‌بینه نه سؤال‌ها رو، و Protege هم بدون دونستن جزئیات ساخت مدل اونو می‌سنجه. پایه‌اش دادهٔ uncontaminated ـه، یعنی داده‌ای که مدل هیچ‌وقت ندیده و روش آموزش ندیده، از شبکهٔ دادهٔ Protege که به گفتهٔ خودشون داده‌های چندوجهی حدود ۳۰۰ میلیون آمریکایی رو پوشش می‌ده.

تو مقاله اومده که روش‌های فعلی هر کدوم یه ایراد دارن. بنچمارک‌های عمومی مثل USMLE و Med-QA اشباع شدن، یعنی مدل‌ها بالای ۹۰٪ می‌گیرن و آزمون دیگه فرق خوب و عالی رو نشون نمی‌ده. ارزیابی‌های داخلی رو همون سازنده با دادهٔ خودش طراحی می‌کنه و عملکرد بعد از استقرار افت می‌کنه. مطالعات peer-review هم ۱ تا ۲ سال طول می‌کشن، در حالی که مدل جدید هر ۱ تا ۲ ماه میاد.

Protege شش اصل برای ارزیابی خوب برمی‌شمره: دادهٔ واقعی، دادهٔ جدید و دیده‌نشده، سنجش روی گردش‌کار بالینی واقعی، کلید پاسخی که پزشک تأییدش کرده، استقلال از سازنده، و سرعت به‌روزرسانی هم‌پای انتشار مدل‌ها. خودشون رو هم با نهادهایی مثل JD Power برای خودرو یا FICO برای اعتبار مالی مقایسه می‌کنن.

سه نتیجهٔ اولیه هم گزارش شده. مدل Standard Model Bio برای پیش‌بینی بقای بیمار سرطانی و زمان نیاز به خط درمانی بعدی، هم‌سطح مدل‌های frontier عمل کرد ولی با هزینهٔ خیلی کمتر. مدل HealthSAW از Xlue AI تو ۱۴ از ۱۶ گردش‌کار پیش‌بینی ریسک بیماری از مدل‌های frontier بهتر بود. تو بنچمارک Disease Odyssey خود Protege هم مدل‌های برتر فقط ۵۱ تا ۶۷٪ مواقع بیماری‌هایی مثل آپنهٔ خواب و کم‌خونی رو قبل از تشخیص رسمی درست تشخیص دادن. فعلاً یه گروه کوچیک از سازنده‌ها پذیرفته می‌شن.

نکات کلیدی:

• ارزیابی دوسوکوره: سازنده داده و سؤال رو نمی‌بینه، Protege هم جزئیات ساخت مدل رو نمی‌دونه.
• بنچمارک‌هایی مثل USMLE و Med-QA اشباع شدن و مدل‌ها بالای ۹۰٪ می‌گیرن.
• شبکهٔ دادهٔ Protege به گفتهٔ خودش حدود ۳۰۰ میلیون آمریکایی رو پوشش می‌ده.
• HealthSAW از Xlue AI تو ۱۴ از ۱۶ گردش‌کار پیش‌بینی ریسک از مدل‌های frontier جلو زد.
• تو بنچمارک Disease Odyssey، مدل‌های برتر فقط ۵۱ تا ۶۷٪ درست تشخیص دادن.