‏چطور ارزش واقعی پروژه‌های AI رو اندازه بگیریم

نویسنده تو این مقاله که از دل یه سخنرانی تو TechFuse DSM اومده، اندازه‌گیری سیستم‌های AI رو به پنج دسته تقسیم می‌کنه: performance، quality، behavior، safety و impact. چهار تای اول می‌گن سیستم درست کار می‌کنه یا نه، ولی پنجمی می‌گه اصلاً ارزش ساختن داشت یا نه. به گفته‌ی نویسنده، تیم‌ها معمولاً چهار تای اول رو دارن و impact رو جا می‌ندازن، برای همین جواب دادن به سؤال ROI (یعنی بازگشت سرمایه) اینقدر سخته.

فرمول پیشنهادی ساده‌ست: ارزش = اثر منهای هزینه. اثر یعنی یه معیار کسب‌وکار چقدر به دلار جابه‌جا شده. هزینه هم فقط توکن نیست، وقت آدم‌هایی که agent رو سرپا نگه می‌دارن هم حساب می‌شه، که خیلی‌ها یادشون می‌ره. نویسنده تأکید می‌کنه این معیار باید قبل از اومدن AI وجود داشته باشه. اگه مجبوری یه معیار جدید بسازی تا ثابت کنی AI جواب داده، احتمالاً داری چیز اشتباهی رو اندازه می‌گیری.

دو تا مثال عددی هم آورده. یه agent پیشنهاد خرید تو فروشگاه، سود ناخالص هر خرید رو از ۱۴ دلار به ۱۴.۲۵ دلار می‌رسونه. با ۲ میلیون خرید در ماه یعنی ۵۰۰ هزار دلار اثر، منهای ۱۰۰ هزار دلار هزینه، می‌شه ۴۰۰ هزار دلار ارزش. یه agent نگهداری تو کارخونه هم ساعت‌های خوابیدن ناگهانی خط تولید رو از ۳۲۰ به ۲۴۰ در سال می‌رسونه. با رقم حدود ۳۶ هزار دلار برای هر ساعت (طبق گزارش Siemens)، این حدود ۲.۹ میلیون دلار اثر در برابر ۲۰۰ هزار دلار هزینه‌ست. یعنی یه قبض ۲۰۰ هزار دلاری تنهایی ترسناکه، ولی کنار این عدد یه سرمایه‌گذاری روشنه.

درباره‌ی coding agentها، نویسنده می‌گه پرسیدن از خود برنامه‌نویس‌ها که «چقدر وقت صرفه‌جویی کردی؟» قابل اعتماد نیست. تو یه آزمایش کنترل‌شده‌ی METR در اوایل ۲۰۲۵ با ۱۶ برنامه‌نویس باتجربه‌ی open source روی ۲۴۶ تسک واقعی، اونا انتظار داشتن ۲۴٪ سریع‌تر بشن، بعدش فکر می‌کردن ۲۰٪ سریع‌تر شدن، ولی اندازه‌گیری نشون داد ۱۹٪ کندتر بودن. پیشنهاد نویسنده اینه که به جاش یه معیار مثل lead time for changes (یعنی فاصله‌ی بین کامیت تا رسیدن به production) رو دنبال کنی.

نظر جنجالی نویسنده اینه که همه چیز نباید AI داشته باشه. مثلاً یه agent که به «سفارشم کجاست؟» جواب می‌ده، در واقع یه lookup ساده تو یه جدوله. گذاشتن LLM روش فقط تأخیر، هزینه‌ی توکن و احتمال جواب غلط (مثل ساختن یه تاریخ تحویل الکی) اضافه می‌کنه. تست پیشنهادی: اگه نمی‌تونی تو یه جمله بگی AI اینجا چی اضافه می‌کنه، احتمالاً نباید agentic باشه.

نکات کلیدی:

• فرمول ارزش هر agent: اثر روی معیار کسب‌وکار (به دلار) منهای هزینه‌ی توکن و وقت آدم‌ها
• معیار کسب‌وکار و baseline اون باید قبل از راه‌اندازی agent وجود داشته باشه، بعدش دیگه نمی‌شه پسش گرفت
• تو مطالعه‌ی METR برنامه‌نویس‌ها فکر می‌کردن ۲۰٪ سریع‌تر شدن ولی در واقع ۱۹٪ کندتر بودن
• چهار سؤال قبل از ship: کدوم معیار باید تکون بخوره، الان کجاست و چنده، صاحبش کیه، و بعد از بررسی نتیجه چه تصمیمی می‌گیرین
• برای کارهای lookup ساده مثل وضعیت سفارش، LLM فقط هزینه و ریسک اضافه می‌کنه