‏Computer Use یا API؟ فاصله ۴۵ برابری در هزینه!

تیم Reflex یه بنچمارک جدی انجام داده که نشون می‌ده computer use یا همون ویژن ایجنت‌ها، در مقایسه با فراخوانی مستقیم API چقدر می‌تونه گرون‌تر باشه. نتیجه؟ تقریباً ۴۵ برابر فرق هزینه. این آزمایش روی یه پنل ادمین واقعی برای مدیریت مشتریان، سفارش‌ها و نقدها انجام شد.

سناریوی تست این بود: پیدا کردن مشتری به نام «Smith» با بیشترین سفارش، پیدا کردن آخرین سفارش pending اون، تأیید همه نقدهای pending، و تحویل‌داده‌شده علامت‌زدن سفارش. یه تسک واقعی با فیلتر، پجینیشن، جستجوی چند موجودیتی و هم خواندن هم نوشتن.

دو ایجنت روی همین تسک سنجیده شدن: Path A یه ویژن ایجنت بود که با browser-use 0.12 از طریق اسکرین‌شات و کلیک رابط کاربری رو کنترل می‌کرد، و Path B یه API ایجنت بود که با tool-use مستقیماً همون هندلرهایی رو صدا می‌زد که دکمه‌های UI صدا می‌زنن.

ویژن ایجنت اول شکست خورد. وقتی هر دو ایجنت همون پرامپت ۶ جمله‌ای رو گرفتن، API ایجنت با ۸ کال کار رو تموم کرد، اما ویژن ایجنت فقط یکی از چهار نقد pending رو پیدا کرد و بقیه رو miss کرد چون پجینیشن رو متوجه نشد. این یه مشکل مدل نیست؛ ایجنت داشت یه صفحه رندرشده می‌دید و هیچ سیگنالی نداشت که صفحه همه چیز رو نشون نمی‌ده.

برای اینکه مقایسه منصفانه باشه، پرامپت ویژن ایجنت به یه راهنمای ۱۴ مرحله‌ای تبدیل شد که اسم آیتم‌های سایدبار، تب‌ها و فیلدهای فرم رو دقیقاً مشخص می‌کرد. با این راهنما، ویژن ایجنت تسک رو کامل کرد — ولی ۱۴ دقیقه طول کشید و نزدیک به نیم میلیون توکن ورودی مصرف کرد.

نتایج کامل رو ببینید:

• ویژن ایجنت (Sonnet): ۵۳ ± ۱۳ مرحله، زمان ~۱۷ دقیقه، ~۵۵۱k توکن ورودی
• API ایجنت (Sonnet): ۸ کال ثابت، زمان ~۲۰ ثانیه، ~۱۲k توکن ورودی
• API ایجنت (Haiku): ۸ کال ثابت، زمان ~۸ ثانیه، ~۹.۵k توکن ورودی

یه نکته مهم دیگه واریانس بالای ویژن ایجنت بود. بین سه اجرا، تعداد سیکل‌ها بین ۴۳ تا ۶۸ و توکن‌ها بین ۴۰۷k تا ۷۵۱k نوسان داشت. یعنی با یه اجرا نمی‌شه هزینه واقعی رو تخمین زد. در مقابل، API ایجنت در هر ۵ اجرا دقیقاً ۸ کال زد و فرق توکن‌ها فقط ±۲۷ بود.

چرا این فرق ساختاری وجود داره؟ ایجنتی که باید برای عمل‌کردن «ببینه»، همیشه هزینه دیدن رو می‌پرده، صرف‌نظر از اینکه مدل چقدر بهتر بشه. مدل‌های بهتر نرخ خطا رو کم می‌کنن، اما تعداد اسکرین‌شات‌های لازم رو کم نمی‌کنن. هر رندر = یه اسکرین‌شات = هزاران توکن ورودی. API ایجنت داده ساختاریافته می‌خونه، نه پیکسل.

این بنچمارک با Reflex 0.9 انجام شد که یه پلاگین داره و به‌صورت خودکار از event handlerهای اپلیکیشن، HTTP endpoint تولید می‌کنه. نتیجه کلی اینه که ویژن ایجنت‌ها برای اپ‌هایی که بهشون دسترسی ندارید (SaaS شخص ثالث، سیستم‌های قدیمی) گزینه درستی هستن، اما برای ابزارهای داخلی که خودتون می‌سازید، وقتی هزینه ساختن API سطح به صفر نزدیک بشه، ریاضیات کاملاً به نفع رویکرد API می‌شه.

نکات کلیدی:

• ویژن ایجنت ۴۵ برابر گران‌تر از API ایجنت برای همون تسک تموم شد
• ویژن ایجنت با پرامپت ساده تسک رو کامل انجام نداد و پجینیشن رو miss کرد
• برای کار درست، ویژن ایجنت نیاز به راهنمای ۱۴ مرحله‌ای دقیق داشت که خودش هزینه مهندسی داره
• واریانس بالا در ویژن ایجنت: توکن‌ها بین ۴۰۷k تا ۷۵۱k نوسان داشتن
• API ایجنت در هر اجرا دقیقاً ۸ کال زد، بدون هیچ نوسانی
• Claude Haiku روی مسیر API زیر ۸ ثانیه و زیر ۱۰k توکن تسک رو تموم کرد
• برای اپ‌های خارجی که کنترلشون ندارید، ویژن ایجنت هنوز تنها گزینه‌ست