جای خالی کاربر در ارزیابی هوش مصنوعی
هوش مصنوعیخلاصهٔ کامل‌تر
مجلهٔ طراحی مایکروسافت تو قسمت تازهٔ مجموعه‌ش با سه پژوهشگر Microsoft AI حرف زده: Christopher Monier و Chuck Kwong، هر دو پژوهشگر ارشد UX، و Wendy Wang که تیم پژوهش تجربه کاربری Copilot رو رهبری می‌کنه. این سه نفر با هم یه برنامهٔ response-quality evaluation ساختن، یعنی سنجش منظم کیفیت جواب‌های مدل، که پاسخ‌های Copilot رو با محصول‌های AI رقیب روی یه پرامپت مشترک مقایسه می‌کنه و تفاوت‌ها رو وصل می‌کنه به چیزی که کاربر واقعاً براش مهمه.
به گفتهٔ Chuck، شروع ماجرا یه سؤال ساده بود: چرا ما محصول رو مثل کاربر نمی‌بینیم؟ اون یه مطالعهٔ ساده راه انداخت و از آدم‌ها خواست جواب Copilot و بقیهٔ ابزارها به یه پرامپت رو کنار هم بذارن و بگن کدوم به کارشون اومده. نتیجه غافلگیرکننده بود: فاصلهٔ بین چیزی که تیم جواب خوب می‌دونست و چیزی که کاربر ترجیح می‌داد خیلی بیشتر از انتظار بود، چون بعضی از دلیل‌های این ترجیح اصلاً اندازه‌گیری نمی‌شد.
Chris ابعاد ارزیابی رو از همون گفت‌وگوهای کیفی درمی‌آره و معمولاً روی پنج تا هشت بُعد مشخص می‌ایسته، نه چک‌لیست کلی کیفیت. تأکیدش اینه که ارزیابی انسانی باید بمونه برای چیزهایی که فقط خود کاربر می‌تونه قاضی‌شون باشه. مثالش دقت محتواست: یه LLM می‌تونه چک کنه یه ادعا از نظر واقعیت درسته یا نه، ولی نمی‌تونه بگه اون ادعا تو بستر استراتژی شرکت کاربر مهمه یا نه. به گفتهٔ اون تقریباً طبق تعریف، یه AI نمی‌تونه این یکی رو قضاوت کنه.
سمت Wendy، کار بعد از خود ارزیابی هم ادامه داره. تیمش داده‌ها رو تبدیل می‌کنه به golden data set، یعنی مجموعه‌ای از نمونه‌های مرجع جواب خوب و بد، که بعد پایهٔ ست‌های بزرگ‌تر ماشینی میشه. دستاورد بزرگ‌ترش یه loss-pattern taxonomy بود: اسم‌گذاری دقیق الگوهای افت کیفیت، تا وقتی یکی می‌گه جواب کلیه یا سطحیه، همه از داده تا مهندسی و PM یه چیز بفهمن. اون تیمش رو تا مرحلهٔ ساخت دیتاست و طراحی ارزیابی هم تو حلقه نگه می‌داره.
یه بحث مهم دیگه اینه که ارزیابی مدل با ارزیابی کل تجربه دو مسئلهٔ جداست. Chuck می‌گه دومی سخت‌تره، چون متغیرهای مزاحم زیادی وسطه: پیکسل‌های دور جواب، مسیر onboarding، بقیهٔ قابلیت‌ها و جریان‌های چندمرحله‌ای؛ و برای workflowهای agentic هنوز روش پذیرفته‌شده‌ای وجود نداره. Wendy هم می‌گه ارزیابی تک‌نوبتی با داورهای ثابت عمق یادگیری رو کم می‌کنه، پس تیمش ارزیابی چندنوبتی ساخت که آدم کل گفت‌وگو رو قضاوت کنه، نه یه جواب تنها.
نکات کلیدی:
- Chris معمولاً روی ۵ تا ۸ بُعد کیفیت برای هر ارزیابی می‌ایسته، نه چک‌لیست عمومی.
- golden data setها نمونه‌های مرجع جواب خوب و بدن که ست‌های بزرگ ماشینی رو تغذیه می‌کنن.
- loss-pattern taxonomy زبان مشترک داده، مهندسی و PM برای توصیف افت کیفیت جوابه.
- به گفتهٔ Wendy یه فریمورک ارزیابی تو حدود سه ماه بیات میشه، چون سلیقهٔ کاربر عوض شده.
- ارزیابی کل تجربه از ارزیابی مدل سخت‌تره و برای workflowهای agentic روش استانداردی توافق نشده.
- تیم Copilot ارزیابی چندنوبتی راه انداخته تا کل گفت‌وگو سنجیده بشه، نه یه پاسخ تک.
