مصاحبهگر هوش مصنوعی در برابر انسان: کی بیشتر از کاربر حرف میکشه؟
خلاصهٔ کاملتر
تیم MeasuringU یه مصاحبهگر هوش مصنوعی روی Gemini 3 Flash ساخت، با آواتار و صدای واقعی دو تا از محققهای خودشون. بعد ۲۰ نفر رو بهصورت تصادفی بین مصاحبهگر AI و انسانی تقسیم کردن. موضوع یه تحقیق اکتشافی (discovery study، یعنی مصاحبهی عمیق برای پیدا کردن مشکلها و فرصتهای محصول) برای یه محصول فرضی بیدار شدن از خواب بود. تو مقالهی قبلیشون دیده بودن جلسههای AI ۳۷٪ کوتاهتر بوده و آدمها ۴۵٪ کمتر حرف زدن.
این بار سؤال این بود که عمق حرفها هم کمتره یا نه. دو تا محقق که خودشون مصاحبه نکرده بودن، همهی متنها رو جدا جدا کدگذاری کردن و Claude هم بهعنوان کدگذار سوم چک کرد. در کل ۸ تا تم (theme، یعنی موضوع تکرارشونده تو حرفها) پیدا شد. توافق کدگذارها متوسط بود و Cohen's kappa (یه معیار توافق که شانس رو کم میکنه) بین .38 تا .44 دراومد.
نتیجه: جلسههای انسانی تو ۷ تا از ۸ تم جلوتر بودن. به گفتهی کدگذاری Claude، هر جلسهی انسانی بهطور میانگین 6.9 تم داشت و جلسهی AI فقط 5.0 (p = .004). البته AI بیشتر همین تمها رو با حدود نصف حرف شرکتکنندهها به دست آورد.
فرق اصلی سر تمی بود که اسمش رو گذاشتن Sleep climate، یعنی کنترل دما و سر و صدای اتاق موقع خواب. اسکریپت اصلاً در موردش سؤالی نداشت، ولی مصاحبهگرهای انسانی خودشون پرسیدن «دمای اتاقت چطوره؟» یا «white noise امتحان کردی؟». این تم تو ۶ تا ۹ جلسه از ۱۰ جلسهی انسانی بود و تو جلسههای AI فقط ۰ تا ۱ بار. AI فقط یه سؤال فرضی در مورد اتاق پرسید و جواب درست حسابی نگرفت.
نویسندهها میگن درس عملیش اینه: یه اسکریپت خوب بنویس. جایی که موضوع تو اسکریپت بود، فاصلهی AI و انسان حدود ۸ امتیاز بود، ولی برای دو تا تمی که تو اسکریپت نبودن، فاصله ۳۰ و ۷۳ امتیاز شد. به نظرشون ارزش اصلی مصاحبهگر انسانی تو همون سؤال پیشبینینشدهایه که وسط مصاحبه به ذهنش میرسه. خودشون هم قبول دارن که این فقط یه آزمایش با یه اسکریپته و باید تکرار بشه.
نکات کلیدی:
- آزمایش تصادفی با ۲۰ نفر، طرح 2 × 2 (انسان یا AI، و جنسیت مصاحبهگر)
- مصاحبهگر AI روی Gemini 3 Flash ساخته شده بود
- میانگین تم در هر جلسه: انسان 6.9، AI 5.0 از ۸ تم (p = .004)
- تم Sleep climate: ۶ تا ۹ از ۱۰ جلسهی انسانی در برابر ۰ تا ۱ جلسهی AI
- موضوعهای داخل اسکریپت: فاصله حدود ۸ امتیاز؛ بیرون از اسکریپت: ۳۰ و ۷۳ امتیاز




