بازخورد محصول برای فیچرهای AI چطور جمع میشه
هوش مصنوعیخلاصهٔ کاملتر
به گفتهٔ گاتلف، وقتی نرمافزاری میساختیم که رفتارشو خودمون مشخص کرده بودیم، گزارش باگِ یه نفر عملاً محصولِ همه رو توصیف میکرد. ولی تو فیچرهای AI، هر تکه بازخورد فقط یه «قرعه از یه توزیع» رو توصیف میکنه — همون کاربر روزهای مختلف خروجی متفاوت میگیره و کاربرهای مختلف هم تو یه روز جوابهای متفاوت. او با یه مثال خونگی میگه: همسرش از Claude چیزی میپرسه و جوابش کار نمیکنه، بعد خودش همون سؤالو جور دیگه میپرسه و یه دست راهحل کاملاً متفاوت میگیره.
او میگه تقریباً همهٔ کانالهای بازخورد — از نظرات آنلاین و NPS تا تیکتهای پشتیبانی و ویجت فیدبک — فرض میکنن چیزی که توصیف میشه ثابت و قابلبازتولیده. AI این فرضو از دو جهت همزمان میشکنه. پس سؤال عوض میشه: دیگه «محصول چیکار میکنه؟» نیست، بلکه «محصول در سراسر توزیعِ کارهایی که میکنه چیکار میکنه، و کاربرها در قبالش چیکار میکنن؟»
راهکار اول: بهجای نظر، «کنش بعدی» رو رصد کن. صادقترین بازخوردی که کاربر به یه فیچر AI میده، کاریه که بلافاصله بعد از دیدن خروجی میکنه: همونو قبول کرد؟ قبل از استفاده حسابی ویرایشش کرد؟ سه بار دوباره پرسید؟ کپیش کرد و بعد فلو رو ول کرد؟ اینا رویدادهای اصلاح و بازنویسیان و برخلاف نظرها، قابلمشاهده و اندازهگیریان. مثلاً میشه با «نرخ بازنویسی» (سهم خروجیهایی که کاربر قبل از استفاده تغییر میده یا دور میندازه) شروع کرد.
راهکار دوم: بهجای یه تیکت، یه توزیع گسترده رو مرور کن. هفتهای یه بار یه نمونهٔ تصادفی از خروجیهای واقعی بردار — ۳۰ تا ۵۰ تا برای شروع کافیه — و تیم با یه معیار خیلی ساده (سه سؤال، نه سی تا: دقیقه؟ برای کاری که کاربر میکرد مفیده؟ لحنش مناسبه؟) امتیازشون بده. به گفتهٔ او دنبال میانگین نباش، دنبال پراکندگی باش؛ اون ۱۰ درصد بدترین، همون backlog بازخورد توئه. یه هشدار هم میده: خروجی واقعی با بستر واقعی کاربرو مرور کن، نه پرامپتهای تستی مصنوعی که معمولاً مهربونتر از واقعیتن.
راهکار سوم: بهجای مراحل بازتولید، بستر رو ثبت کن. وقتی بازخوردی از کانالهای سنتی میاد، سؤال مفیدتر اینه که مدل چی دیده: درخواست، بستر اطرافش، و تقریباً این خروجی کجای توزیع کیفیت افتاده. با برچسبزدن هر بازخورد به این «خوشهٔ بستر»، الگوها سریع بیرون میزنن؛ شکایتها معمولاً روی نوع خاصی از کارها متمرکزن. نویسنده تأکید میکنه این جای حرفزدن با کاربرو نمیگیره، فقط چیزی که ازش میپرسی رو عوض میکنه. دفعهٔ بعد که کسی بازخوردی آورد، قبل از اقدام بپرس: «کاربر بعدش چیکار کرد؟»
نکات کلیدی:
- فیچرهای AI فرض «رفتار ثابتِ محصول» رو میشکنن، پس مراحل بازتولید دیگه جواب نمیده
- کنش بعدی کاربر (قبول، ویرایش، دوبارهپرسیدن) صادقترین بازخورده — مثل «نرخ بازنویسی»
- هفتهای یه نمونهٔ ۳۰-۵۰تایی از خروجیهای واقعی رو با یه معیار سادهٔ سهسؤالی امتیاز بده
- دنبال میانگین نباش، دنبال پراکندگی؛ ۱۰٪ بدترین خروجیها backlog بازخورد توئه
- بهجای مراحل، بستری که مدل دیده رو ثبت و برچسبگذاری کن تا الگوها پیدا شن
