عبور از ایوال دلیل آماده بودن فیچر هوش مصنوعی نیست
هوش مصنوعیخلاصهٔ کامل‌تر
فروشگاه زنجیره‌ای آمریکایی آلبرتسونز به وال‌استریت‌ژورنال گفته مشتری‌هایی که از دستیار خرید هوش مصنوعیش استفاده می‌کنن، با نسخه‌ی معمولی ۱۰ درصد و با نسخه‌ی کامل‌ترش تا ۲۶ درصد بیشتر خرج می‌کنن. یکی از مدیرهای آلبرتسونز دلیلشو این می‌دونه که وقتی دستیار کامل‌تره، مشتری دیگه چیزی رو تو سبدش جا نمی‌ندازه. نویسنده می‌گه این یه outcome ـه (یعنی یه رفتار واقعی از آدما، نه یه عدد فنی از سیستم) که خود فروشگاه مستقیم نمی‌بینتش، فقط خود مشتری می‌فهمه یادش رفته یا نه.
این روزها مدیرهای محصول دارن یاد می‌گیرن که به‌جای PRD قدیمی (سند نیازمندی‌های محصول)، از evals استفاده کنن؛ یعنی مجموعه‌ای تست خودکار که هر بار کد جدید commit میشه اجرا میشه و می‌گه رفتار فیچر هوش مصنوعی درسته یا نه. حتی کوین ویل، مدیر محصول OpenAI، گفته نوشتن evals مهم‌ترین کاری‌ه که یه مدیر محصول تو عصر هوش مصنوعی می‌تونه انجام بده. دلیلش هم روشنه: وقتی سیستم برای هر کاربر و هر پرامپت یه جواب متفاوت می‌ده، از قبل نوشتن نیازمندی دقیق تقریباً غیرممکنه.
ولی نویسنده می‌گه اینجا یه مشکل هست: evals فقط رفتار سیستم رو می‌سنجن، نه تجربه‌ی واقعی مشتری رو. مثلاً تو مثال آلبرتسونز، یه eval می‌تونه چک کنه که دستیار محصول درست و موجود تو انبار رو پیشنهاد می‌ده یا محدودیت غذایی مشتری رو رعایت می‌کنه، ولی نمی‌تونه بفهمه مشتری شیر رو یادش رفته یا نه؛ چون این یه ویژگی از خود مشتریه، نه از سیستم.
پیشنهاد نویسنده اینه که قبل از اینکه بگی یه فیچر هوش مصنوعی «تمومه»، چهار چیز رو به eval suite ضمیمه کنی: یه عدد مشخص برای حداقل نمره‌ی قابل‌قبول، یه جمله که بگه این فیچر قراره کدوم رفتار مشتری رو عوض کنه، اسم یه نفر مشخص که وقتی eval یا outcome شکست خورد مسئول پیگیریشه، و یه تاریخ مشخص برای به‌روزرسانی دیتای eval از روی رفتار واقعی کاربرا تو محیط عملیاتی. به گفته‌ی خودش سه‌تای اول معمولاً تو تیم‌ها هست، ولی همون یکی که رفتار مشتری رو اضافه می‌کنه، فرقو می‌سازه.
نکات کلیدی:
- آلبرتسونز با دستیار خرید کامل هوش مصنوعیش تا ۲۶ درصد فروش بیشتر گرفته
- evals معیار جدید به‌جای PRD شدن، ولی فقط رفتار سیستم رو می‌سنجن نه رضایت کاربر رو
- کوین ویل (مدیر محصول OpenAI) نوشتن evals رو مهم‌ترین کار مدیر محصول در عصر هوش مصنوعی می‌دونه
- ۴ چیزی که باید به هر eval اضافه کرد: آستانه‌ی نمره، هدف رفتاری مشتری، مسئول رفع مشکل، تاریخ به‌روزرسانی از دیتای واقعی
