‏WearableQA؛ بنچمارک جدید متا برای استدلال سلامت از روی داده‌ی ساعت هوشمند

تیم تحقیقاتی متا یه بنچمارک به اسم WearableQA منتشر کرده که هدفش اینه ببینه مدل‌های هوش مصنوعی چقدر می‌تونن از روی داده‌ی واقعی ساعت‌های هوشمند و دستبند‌های سلامتی، درباره‌ی وضعیت سلامت آدم‌ها استدلال کنن. برخلاف خیلی از بنچمارک‌های قبلی که از داده‌ی ساختگی و تمیز استفاده می‌کنن، این یکی مستقیم از داده‌ی خام ۲۰۰ نفر واقعی گرفته شده، با همون نویز دستگاه، روزهای بدون داده و تفاوت‌های فردی که تو دنیای واقعی هست.

این بنچمارک ۴٬۰۸۴ سؤال ده‌گزینه‌ای (گزینه‌های A تا J) داره که از روی سابقهٔ تا ۵۰۰ روزه‌ی هر کاربر، همراه با پنل آزمایش خون و مشخصات جمعیتی‌شون ساخته شدن. سؤال‌ها ۱۶ نوع مختلف دارن که تو دو محور دسته‌بندی می‌شن: یکی اینکه مدل باید فقط روی اعداد خام حساب کنه (مثل شمردن دفعات نوسان یا زمان بازیابی) یا باید اونا رو از نظر پزشکی تفسیر کنه (مثل ارزیابی ریسک یا تشخیص افتراقی)؛ دوم اینکه سؤال فقط به یه سیگنال (مثلاً فقط ضربان قلب) مربوطه یا چند تا سیگنال رو با هم ترکیب می‌کنه.

داده‌ها به دو شکل منتشر شدن: یه فایل ۳۰۶ مگابایتی آماده که هر خطش یه سؤال کامله، و یه فایل ۳۹ مگابایتی خام (WearableQA_raw.json) که سری‌های زمانی کامل هر کاربر توشه و می‌شه خودت جور دیگه‌ای رندرش کنی. تو آزمایش‌های نویسنده‌ها، نحوه‌ی نمایش داده‌ی سنسور (مثلاً جدولی، ستونی یا CSV) چند درصد رو دقت مدل تغییر می‌داد، و وقتی داده رو به‌جای متن به‌صورت عکس نشون می‌دادن، نتیجه خیلی بدتر می‌شد.

دیتاست هم روی گیت‌هاب هست هم روی Hugging Face (facebook/WearableQA) و با مجوز CC BY-NC 4.0 منتشر شده، با چند شرط مهم: نباید برای شناسایی افراد، تصمیم‌گیری بالینی یا تشخیص پزشکی، یا هر کاربرد تبعیض‌آمیز و گمراه‌کننده استفاده بشه. طول متن هر سؤال هم می‌تونه خیلی زیاد باشه، میانگین حدود ۸۶ هزار کاراکتر و سقفش تا ۱۲۴ هزار کاراکتر، پس مدل‌هایی که پنجرهٔ context محدودی دارن ممکنه اینجا مشکل داشته باشن.

نکات کلیدی:

• ۴٬۰۸۴ سؤال ده‌گزینه‌ای از داده‌ی واقعی ۲۰۰ کاربر و تا ۵۰۰ روز سابقه
• ۱۶ نوع سؤال روی دو محور: محاسبه‌ای/پزشکی و تک‌سیگنال/چندسیگنال
• خط پایه‌ی تصادفی ۱۰٪ چون جواب‌ها بین گزینه‌های A تا J متوازنن
• نحوه‌ی رندر داده‌ی سنسور (row، col، csv، markdown) رو دقت مدل اثر می‌ذاره
• مجوز CC BY-NC 4.0 با ممنوعیت استفاده در تشخیص یا تصمیم‌گیری بالینی