کاربر مصنوعی در برابر آدم واقعی: نتیجه یکی، تنوع خیلی کمتر
هوش مصنوعیخلاصهٔ کامل‌تر
تیم Nielsen Norman Group تو این مقاله یه آزمایش ساده انجام داده: یه سؤال باز از نظرسنجی قبلی‌شون رو، که ۶۰۴ متخصص طراحی و فناوری جوابش رو داده بودن، به ۱۲۰ پاسخ‌دهندهٔ مصنوعی دادن. سؤال این بود که کاری مثل «جمع کردن بینش از نیاز آدم‌ها و تبدیلش به پیشنهاد برای محصول» چه اسمی داره. پاسخ‌دهنده‌های مصنوعی رو با پلتفرم Synthetic Users ساختن، یعنی ابزاری که با هوش مصنوعی نقش شرکت‌کنندهٔ تحقیق رو بازی می‌کنه.
هر دو دیتاست به یه نتیجه رسیدن: هیچ اسمی جای UX رو نگرفته. حتی AI حدود ۱۴ واحد درصد بیشتر از آدم‌ها از اصطلاحات UX استفاده کرد. این عجیبه، چون ۶۷٪ نمونهٔ انسانی خودشون متخصص UX بودن ولی تو نمونهٔ مصنوعی فقط ۲۰٪. نویسنده می‌گه دلیل دقیقش معلوم نیست، ولی تحقیقات قبلی هم نشون داده جواب‌های مصنوعی دور جواب‌های رایج جمع می‌شن.
فرق اصلی تو تنوع بود. آدم‌ها بیشتر از ۵۰ اسم مختلف گفتن، مثل «journey management» یا «human-factors engineering»، که خیلی‌هاش فقط یه بار اومده بود. AI فقط حدود دوازده‌تا اسم تولید کرد. به این می‌گن mode collapse، یعنی مدل فقط پرتکرارترین جواب‌ها رو تکرار می‌کنه و جواب‌های کمیاب (دم توزیع) رو جا می‌ندازه. جالب اینه که جواب‌های AI طولانی‌تر هم بودن و فرصت بیشتری برای اسم‌های متفاوت داشتن.
نقش شغلی هنوز روی جواب‌ها اثر داشت، مثلاً ۴۵٪ متخصص‌های customer insights مصنوعی کلمهٔ «customer» رو آوردن. ولی همه به سمت UX کشیده شدن: ۹۳٪ مدیرمحصول‌های مصنوعی از اصطلاح UX استفاده کردن، در حالی که بین آدم‌های واقعی این عدد ۴۴٪ بود. یعنی AI تفاوت بین گروه‌ها رو کمتر از واقعیت نشون می‌ده.
محدودیت دیگه این بود که پلتفرم گاهی سؤال رو یه‌کم تغییر می‌داد و محققا کنترلی روش نداشتن. جمع‌بندی نویسنده اینه که تحقیق با کاربر مصنوعی هنوز تحقیق کاربر نیست، چون هیچ کاربر واقعی‌ای بررسی نمی‌شه. برای فرضیه‌سازی یا چک کردن الگوهای کلی به درد می‌خوره، ولی وقتی جواب‌های کمیاب مهمن، باید سراغ آدم واقعی بری.
نکات کلیدی:
- ۶۰۴ پاسخ‌دهندهٔ انسانی در برابر ۱۲۰ پاسخ‌دهندهٔ مصنوعی ساخت پلتفرم Synthetic Users
- هر دو گروه UX رو اسم غالب این کار دونستن؛ AI حدود ۱۴ واحد درصد بیشتر
- آدم‌ها بیش از ۵۰ اسم مختلف گفتن، AI حدود ۱۲ تا (mode collapse)
- ۹۳٪ مدیرمحصول‌های مصنوعی اصطلاح UX رو گفتن، در برابر ۴۴٪ آدم‌های واقعی
- پیشنهاد نویسنده: کاربر مصنوعی برای فرضیه‌سازی، آدم واقعی برای پیدا کردن جواب‌های کمیاب
