‏هزینه‌ی واقعی یه تیم ایجنت کدنویسی هوش مصنوعی

تو این مقاله از MindStudio یه آزمایش روایت شده که پنج تیم ایجنت کدنویسی رو مقایسه می‌کنه. هر تیم یه مدل lead داره (یعنی مدلی که برنامه می‌ریزه، کار پخش می‌کنه و نتیجه رو بررسی می‌کنه) و یه مدل worker که کار رو انجام می‌ده. تیم‌ها شش پروژه ساختن: یه امولاتور، یه جایگزین Docker، یه طراح اتاق، یه کانفیگ‌کننده‌ی کیبورد، شروع یه بازی سبک Pokémon و یه اپ دسکتاپ Fitbit. هر پروژه ۱۰ امتیاز داشت و هر تیم حداکثر ۶۰ امتیاز می‌تونست بگیره.

قیمت‌ها خیلی فرق داشت. Soul و Sonnet برای هر میلیون توکن ورودی تازه ۲ دلار، کش ۰.۱۰ دلار و خروجی ۱۰ دلار خرج دارن. Opus تقریباً دو برابر گرون‌تره: ۴.۲۰ دلار ورودی و ۲۰ دلار خروجی. برای مدل Muse Full هیچ قیمت تأییدشده‌ای نبود و با یه فرض استاندارد حساب شده. نکته‌ی جالب اینه که از ۹۳۶ میلیون توکن ثبت‌شده، حدود ۹۲۶.۷ میلیون ورودی بود و بیشترش context کش‌شده‌ای که تکرار می‌شد، برای همین هزینه‌ی واقعی خیلی کمتر از عدد خام توکن‌هاست.

هزینه‌ی ثبت‌شده: Opus با Soul حدود ۵۶.۹۷ دلار، Astra با Sonnet حدود ۶۸.۷۵، Astra با Soul حدود ۷۵.۲۲، Opus با Muse Full حدود ۸۰.۲۲ و Opus با Sonnet گرون‌ترین با ۱۲۴.۲۲ دلار. جمعش حدود ۴۰۵ دلار شد. تعداد توکن‌ها هم بیشتر از ۵ برابر فرق داشت: Opus با Sonnet حدود ۴۴۴.۸ میلیون توکن مصرف کرد و Opus با Soul فقط ۱۴۳.۷ میلیون.

تو امتیازها Opus با Soul با ۴۴.۲ از ۶۰ اول شد و هر شش پروژه رو بدون قطعی جدی تموم کرد. Opus با Sonnet با ۴۳.۷ خیلی نزدیک بود، ولی تو پنج پروژه از شش‌تا به سقف quota خورد. Astra با Soul فقط ۲۶.۳ گرفت، چون مثلاً اجرای Pokémonش بعد از خطای HTTP 429 (یعنی محدودیت تعداد درخواست) کلاً صفر شد. Astra با Sonnet عجیب بود: تو طراح اتاق و Pokémon بهترین امتیاز تکی رو گرفت، ولی تو امولاتور ۱.۹ و کیبورد ۲.۸ گرفت چون برنامه‌ی اولیه‌ش اصلاً کار اصلی رو به کسی نسپرده بود.

نویسنده خودش می‌گه این عددها نمی‌تونن برنده‌ی قطعی رو مشخص کنن. فقط ۸ اجرا از ۳۰ تا لاگ کامل داشتن، پس یه هزینه‌ی پایین‌تر ممکنه فقط به خاطر داده‌ی گمشده باشه. تیم‌ها بودجه‌ی محاسباتی برابری نداشتن، مدل‌ها تنهایی امتحان نشدن و نقش‌ها هم هیچ‌وقت جابه‌جا نشد. یعنی نمی‌شه فهمید چقدر از نتیجه مال هماهنگی تیمیه و چقدر مال قدرت خود مدل.

به گفته‌ی مقاله درس ماندگارتر اینه که تیم‌هایی که قبل از شروع، مالکیت هر بخش رو واضح تقسیم کردن نتیجه‌ی منسجم‌تری گرفتن. مثلاً Astra با Sonnet تو طراح اتاق، مدل و ادیتور و رندرر رو جدا به ورکرها سپرد. در عوض هر دو تیمی که Astra رهبرشون بود، تو امولاتور یه مسیر اجرایی کامل رو از برنامه جا انداختن.

نکات کلیدی:

• هزینه‌ی هر ترکیب بین حدود ۵۷ تا ۱۲۴ دلار بود و جمع کل حدود ۴۰۵ دلار شد
• Opus با Soul بالاترین امتیاز (۴۴.۲ از ۶۰) و کمترین هزینه رو بین دو تیم برتر داشت
• قیمت Opus تقریباً دو برابر Soul و Sonnet هست: ۴.۲۰ دلار ورودی و ۲۰ دلار خروجی برای هر میلیون توکن
• فقط ۸ اجرا از ۳۰ تا لاگ مصرف کامل داشتن، پس عددها کف هزینه‌ان
• خطاهای quota و HTTP 429 هم امتیازها رو پایین آوردن هم احتمالاً مصرف توکن رو کمتر از واقع نشون دادن
• تقسیم واضح مالکیت بخش‌ها قبل از شروع کار، نتیجه‌ی بهتری داد