برای محصول هوش مصنوعی، OKR درست چطوری نوشته میشه؟
هوش مصنوعیخلاصهٔ کاملتر
جف گاتلف تو این مقاله از تجربهاش با یه تیم AI تو یه بانک بزرگ اروپایی شروع میکنه: تیم برای سنجش موفقیت ابزار داخلیاش گذاشته بود «رسیدن به ۹۵ درصد دقت تو همهٔ خروجیها» — عددی که بهنظر جدی و دقیق میاومد و همه هم پشتش بودن. به گفتهٔ نویسنده این یه خروجیه، نه نتیجهٔ کلیدی؛ و دقیقاً همون اشتباهیه که تیمها پونزده ساله دارن با OKR میکنن.
استدلال او اینه که یه نتیجهٔ کلیدی باید معیار رفتار انسان باشه — نه یه تسک، نه فیچری که شیپ کردین، بلکه کاری که کاربر بهخاطر کار شما متفاوت انجام میده. نویسنده میگه AI این قاعده رو عوض نمیکنه، فقط رعایتش رو سختتر میکنه: خروجی مدل احتمالاتیه، از کاربری به کاربر دیگه و از پرامپتی به پرامپت دیگه دریفت میکنه، پس تعهد به یه عدد دقت واحد اصلاً صادقانه نیست.
نتیجهٔ کلیدی اول: پیامد (outcome). سؤال سادهست — کاربر بعد از اینکه خروجی رو گرفت، چی کار میکنه؟ اگه خروجی خوب باشه، اکسپورتش میکنه، بهاشتراک میذاره یا تو کارش میبره. اگه بد باشه، دو سه بار دوباره تولیدش میکنه یا میره یه داک خالی باز میکنه و خودش مینویسه. نویسنده مثال میزنه: «سهم جلساتی که کاربر خروجی AI رو بدون بازنویسی میفرسته، از ۴۰٪ به ۶۵٪ برسه» — همون فرمول «کی، چی کار، چقدر».
نتیجهٔ کلیدی دوم: کالیبراسیون. اینجا همون جاییه که تیمها میخوان عدد دقت رو یواشکی برگردونن، و به گفتهٔ نویسنده اشکالی نداره که کیفیت مهم باشه — فقط باید از راه رفتار سنجیده بشه. اگه خروجی واقعاً دقیق باشه، کاربر دیگه چکش نمیکنه. پس نتیجهٔ کلیدی میشه چیزی مثل «کاهش سهم سشنهایی که کاربر متن اصلی رو باز میکنه تا صحت داده رو بررسی کنه، از ۶۰٪ به ۳۰٪».
نتیجهٔ کلیدی سوم: اعتماد. نویسنده میگه اعتماد رو با نظرسنجی نسنجین، چون آدمها میگن اعتماد دارن و بعد یواشکی همهچی رو چک میکنن. اعتماد واقعی یعنی تغییر تو چیزی که آدم حاضره واگذار کنه: استفاده از ابزار برای جلسههای مهمتر، روشنکردن ارسال خودکار به تیم، و افت اصلاحات. تمیزترین نسخهاش هم اینه که نرخ بازنویسی یا حذف خروجی AI زیر ۸٪ نگه داشته بشه.
جمعبندی نویسنده اینه که با کنار هم گذاشتن این سهتا، یه OKR برای فیچر AI میسازین که حتی یک بار هم خروجی مدل رو اندازه نمیگیره. دقت و مدل و کالیبراسیون هنوز خیلی مهمن، ولی بهعنوان محرک موفقیت انسان، نه معیارش. پیشنهاد عملیاش هم اینه: بنویسین باارزشترین کاری که کاربر باید بعد از جواب فیچر انجام بده چیه، و بپرسین چقدر میتونین اون رفتار رو بیشتر کنین.
نکات کلیدی:
- «۹۵٪ دقت» یه خروجیه، نه نتیجهٔ کلیدی؛ KR باید رفتار انسان رو بسنجه
- چون خروجی مدل احتمالاتیه، تعهد به یه عدد دقت واحد صادقانه نیست
- KR پیامد: کاربر بعد از دیدن خروجی چی کار میکنه (مثلاً بدون بازنویسی میفرسته)
- KR کالیبراسیون: کیفیت رو از روی «دیگه چکش نمیکنه» بسنجین، نه از روی عدد دقت
- KR اعتماد: نرخ بازنویسی/حذف خروجی و میزان کاری که کاربر به ابزار واگذار میکنه
