قبل از اضافه کردن AI به محصول، این ۴ سؤال رو بپرس
خلاصهٔ کاملتر
یه شرکت بیمه یه ابزار AI ساخت که متن کامل رأی پروندههای اعتراض به بیمه رو مینوشت. ابزار درست کار میکرد، ولی کارشناسها کنارش گذاشتن و اونایی که ازش استفاده میکردن کندتر شدن. دلیلش ساده بود: خوندن دقیق یه متن AI برای امضا کردنش تقریباً به اندازهی نوشتنش وقت میبرد. نسخهی دوم فقط بندهای مرتبط قوانین و رأیهای قبلی رو پیدا میکرد و نوشتن رو به خود کارشناس میسپرد، و همین جواب داد.
نویسنده اسم این مرزو break-even line میذاره، یعنی جایی که سود AI برای یه کاربر مشخص تو یه کار مشخص، از هزینهی عادت کردن بهش بیشتر بشه. سود سه شکل داره: کمتر شدن زحمت، گرفتن خطاهایی که آدم نمیدید، و یکدست شدن کار بین آدمهای مختلف. اون به تحقیق Cowan هم اشاره میکنه که ظرفیت حافظهی کاری رو حدود ۴ آیتم میدونه.
سؤال اول اینه که آیا کل زحمت کم میشه یا نه، با حساب کردن کار چک کردنی که کاربر به ارث میبره. مثلاً پر کردن خودکار یه فیلد ساده فقط کار تایپ رو به کار چک کردن تبدیل میکنه. سؤال دوم مقایسه با روش فعلی کاربره، چون جایی که کاربر از قبل یه راه سریع و مطمئن داره، AI چیزی اضافه نمیکنه. نویسنده میگه یه قابلیت ممکنه برای تحلیلگر تازهکار مفید باشه و برای تحلیلگر باتجربه فقط وقت تلف کنه.
سؤال سوم اینه که کاربر میتونه خطاها رو ببینه یا نه. به خاطر automation bias (یعنی تمایل آدمها به قبول کردن خروجی سیستم خودکار حتی وقتی غلطه)، خطاهای نامرئی خطرناکترن. راهحل نویسنده provenance هست، یعنی نشون دادن اینکه خروجی از کجا و کی اومده. هر خطایی که هم کمپیدا باشه و هم پرهزینه، باید با نمایش منبع و درخواست تأیید عرضه بشه وگرنه اصلاً نباید ساخته بشه.
سؤال چهارم به آینده نگاه میکنه: بعد از یه سال استفاده، کاربر هنوز مهارت تشخیص اشتباه AI رو داره؟ تو آزمایش Dratsch و همکاران (۲۰۲۳) روی ۲۷ رادیولوژیست، دقت باتجربهترها با پیشنهاد غلط از ۸۲.۳٪ به ۴۵.۵٪ و دقت کمتجربهترها از ۷۹.۷٪ به ۱۹.۸٪ رسید. پیشنهاد نویسنده مکانیزمهایی مثل بررسی کور دورهای، یعنی اینکه کاربر قبل از دیدن خروجی AI خودش نظر بده، تو دل workflow هست.
نویسنده یه نسخهی ۶۰ دقیقهای از این بررسی هم پیشنهاد میده: تعریف دقیق کار، جواب دادن به سؤالها کنار کسی که واقعاً اون کارو انجام میده، نقشه کشیدن خطاهای محتمل، و نوشتن شرطها تو design brief. به گفتهش نتیجه رو باید به شکل شرطهای قابلاجرا به جلسهی roadmap برد، نه دلیلی برای ساخته نشدن قابلیت.
نکات کلیدی:
- معیار اصلی break-even line هست: سود برای یه کاربر تو یه کار در برابر هزینهی عادت و چک کردن.
- سود AI سه شکل داره: کمتر شدن زحمت، گرفتن خطا، و یکدستی بین آدمها.
- خطای کمپیدا و پرهزینه بدون provenance و درخواست تأیید نباید عرضه بشه.
- تو آزمایش ۲۰۲۳ روی ۲۷ رادیولوژیست، پیشنهاد غلط AI دقت کمتجربهها رو از ۷۹.۷٪ به ۱۹.۸٪ رسوند.
- نسخهی کوتاه بررسی ۶۰ دقیقه طول میکشه و خروجیش شرطهای design brief هست.




