چرا هزینه توکن ایجنتهای هوش مصنوعی تو شرکتها منفجر میشه
هوش مصنوعیخلاصهٔ کاملتر
نویسنده میگه هر چی مدلها تواناتر میشن، شرکتها کارهای بزرگتری بهشون میسپرن. ایجنت دیگه فقط جواب نمیده. تاریخچه حساب رو میخونه، داده محصول رو چک میکنه، ابزار صدا میزنه و دنبال چیزایی که پیدا کرده میره. هر کدوم از این قدمها یه model call جدیده و توکن مصرف میکنه.
مشکل اینه که این دو تا عامل جمع نمیشن، ضرب میشن. مثلاً ده برابر شدن تعداد اجرای ایجنتها کنار زیاد شدن توکن هر اجرا، قبضی میسازه که انگار ربطی به ارزشی که شرکت میگیره نداره. به گفته نویسنده، رد کردن هر تصمیم روتین از گرونترین مدل frontier یه انتخاب طراحیه، نه یه اجبار.
عوض کردن مدل یه راه واقعیه. یعنی کارهای ساده مثل lookup رو به مدلهای سبکتر یا open weight بدی و مدلهای گرون رو برای استدلال سخت نگه داری. ولی نویسنده میگه این فرض میکنه که اون مرحله اصلاً لازمه. مرحلهای که حذف بشه صفر توکن خرج میکنه، که از بهینهترین مدل هم ارزونتره.
مقاله اسم این مشکل رو «پاکت نامه اداری» میذاره. قدیم یه سند دستبهدست بین میزها میچرخید، بعد شد زنجیره ایمیل، بعد سیستم تیکت. مرحلهها همون موندن، فقط سریعتر شدن. حالا جای هر آدم یه ایجنت نشسته که درخواست رو میخونه، فرمتش رو عوض میکنه و تحویل بعدی میده. یعنی همون پاکت داره تو ساختمون میچرخه، فقط ایجنتها جای آدمها راه میرن.
پیشنهاد نویسنده اینه که از نتیجه کسبوکار شروع کنی، نه از نقشه فرایند فعلی. مثلاً برای درخواست قیمت، مشتری یه قیمت دقیق و مجاز میخواد، شرکت یه سابقه ازش میخواد و سؤالهای باز باید علامت بخورن. خلاصه داخلیای که فقط چون یه سیستم فرمت تیم دیگه رو نمیفهمیده ساخته میشده، نیاز واقعی نیست. هندآف کمتر یعنی حلقههای کمتر بین ایجنتها و توکن کمتر.
به گفته نویسنده، این تصمیم فقط از مهندسها برنمیاد. مهندس میتونه یه مرحله رو ارزونتر کنه، ولی اختیار نداره به یه دپارتمان بگه فلان تأیید دیگه لازم نیست. این کار مال صاحب نتیجه کسبوکاره. کنترلهای واقعی مثل تأیید تخفیف، دقت قیمت و سوابق audit هم سر جاشون میمونن و فقط مرحلههای اداری اضافه حذف میشن.
نکات کلیدی:
- تعداد اجرای ایجنتها و توکن هر اجرا در هم ضرب میشن و هزینه چند برابر میشه
- فرستادن کارهای ساده به مدلهای سبک یا open weight هزینه هر call رو کم میکنه ولی مرحلههای بیفایده رو حذف نمیکنه
- مرحلهای که حذف بشه صفر توکن خرج میکنه
- هندآفهای قدیمی بین سیستمهایی که با هم حرف نمیزدن، اغلب دستنخورده به ایجنتها منتقل میشن
- حذف یه مرحله به تصمیم صاحب نتیجه کسبوکار نیاز داره، نه فقط مهندس
- کنترلهایی مثل تأیید تخفیف و سوابق audit با این بازطراحی حذف نمیشن
