چطور زمان واقعی بررسی کار ایجنت‌ها رو اندازه بگیریم
هوش مصنوعیخلاصهٔ کامل‌تر
نویسندهٔ این مقاله قبلاً گفته بود که فرض کردن یه زمان ثابت برای نظارت انسانی، پایهٔ خوبی برای برنامه‌ریزی ظرفیت تیم نیست. حالا یه پروتکل جمع‌آوری داده پیشنهاد می‌ده که جای اون فرض رو بگیره. خودش تأکید می‌کنه که این یه روش پیشنهادیه، نه نتیجهٔ یه آزمایش انجام‌شده. سؤال اصلی ساده‌ست: این workflow برای هر کار تموم‌شده، با یه سطح کیفیت مشخص، چقدر وقت آدم و چقدر هزینهٔ ایجنت مصرف می‌کنه؟
قدم اول اینه که قبل از روشن کردن تایمر، نوع کار رو مشخص کنید. مثلاً یه bug fix محدود یا یه یادداشت تحقیقی. همهٔ کارهای انتخاب‌شده باید قبل از شروع ثبت بشن، نه فقط اونایی که بعداً به نظر ارزش نشون دادن دارن. واحد اندازه‌گیری خود کاره و همهٔ تلاش‌های ایجنت زیرش ثبت می‌شن. یعنی یه patch ردشده و دو بار اصلاح، یه کار با سه تلاش حساب میشه و باز کردن یه چت جدید هزینه رو صفر نمی‌کنه. اگه آخرش یه آدم کار رو دستی تموم کرد، باید جدا برچسب بخوره.
نویسنده می‌گه سه تا ساعت رو از هم جدا نگه دارید: وقت فعال آدم، زمان اجرای ایجنت و زمان کل تحویل. وقت آدم هم به دسته‌های briefing، نظارت، بررسی، rework و verification تقسیم میشه. اگه دو نفر با هم بررسی کنن، دو برابر وقت حساب میشه. اگه یه نفر هم‌زمان سه تا ایجنت رو نگاه کنه، نمی‌تونه یه پنج دقیقه رو سه بار ثبت کنه. یه زمانِ ثبت‌نشده هم یعنی دادهٔ گمشده، نه بررسی صفر دقیقه‌ای.
هزینهٔ مالی هم باید به هر تلاش وصل بشه: تولید، retry، هزینهٔ ابزارها و حتی ایجنتی که کار ارزیابی رو انجام می‌ده. بعد محاسبه این‌طوری انجام میشه:
human minutes per accepted task = all cohort human minutes / accepted tasks
agent spend per accepted task = all cohort agent spend / accepted tasks
acceptance rate = accepted tasks / started tasksنکتهٔ کلیدی اینه که «همهٔ» وقت، شامل بررسی و اصلاح کارهای ردشده یا رهاشده هم هست. تو مثال ساختگی مقاله، سه کار ۴۵ دقیقه وقت و ۶ دلار هزینه برده و دوتاش قبول شده؛ پس هر کار قبول‌شده ۲۲.۵ دقیقه و ۳ دلار خرج داشته. اگه فقط هزینهٔ کارهای موفق رو حساب کنید، کار رهاشده قایم میشه. برای ادعای صرفه‌جویی هم باید کارهای قابل مقایسه رو از قبل، ترجیحاً تصادفی، بین روش با ایجنت و بدون ایجنت تقسیم کنید. اینکه اول با ایجنت انجامش بدید و بعد دستی تایمش کنید فایده نداره، چون جواب رو از قبل می‌دونید.
نکات کلیدی:
- این یه روش پیشنهادیه، نه گزارش یه آزمایش انجام‌شده.
- واحد اندازه‌گیری خود کاره و همهٔ تلاش‌های ایجنت، حتی تو چت‌های جدید، به همون کار وصل می‌شن.
- وقت آدم به پنج دسته تقسیم میشه: briefing، نظارت، بررسی، rework و verification.
- هزینه‌ها بر تعداد کارهای قبول‌شده تقسیم می‌شن، ولی شامل کارهای ردشده و رهاشده هم هستن.
- کارهایی که آدم دستی تمومشون کرده باید جدا گزارش بشن تا نجات دستی شبیه موفقیت ایجنت به نظر نیاد.
- برای مقایسهٔ منصفانه، تقسیم کارها باید قبل از اجرا و ترجیحاً تصادفی باشه، مثل مطالعهٔ METR در اوایل ۲۰۲۵.
