‏چطور هزینه‌ی ابزارهای کدنویسی AI رو تو مقیاس بزرگ کنترل کنیم

تو این پست Databricks می‌گه ابزارهای کدنویسی AI سرعت تیم‌هاشون رو خیلی بالا بردن، ولی تقریباً هر شرکتی که این ابزارها رو گسترده استفاده کرده با یه مشکل روبه‌رو شده: هزینه‌ها نمایی رشد می‌کنن. هدفی که اسمشو «dual mandate» گذاشتن اینه که همه دسترسی راحت به ابزارها داشته باشن و در عین حال هزینه‌ی هر نفر تقریباً ثابت بمونه. این راهکارها از تجربه‌ی خود Databricks و گفتگو با Stripe، Coinbase، Uber و Ramp جمع شده.

بزرگ‌ترین اهرم به گفته‌ی نویسنده، جابه‌جا شدن سریع به مدل‌های کارآمدتره. اونا مفهومی به اسم efficiency frontier رو مطرح می‌کنن، یعنی مدل‌هایی که برای یه سطح مشخص از هوش، بهترین قیمت رو دارن. بیشتر کدنویسی روزمره به هوش سطح اول نیاز نداره و این مرز خیلی سریع‌تر جلو می‌ره. چون benchmarkهای عمومی واقعیت رو خوب نشون نمی‌دن، شرکت‌ها ارزیابی داخلی می‌سازن. Databricks با همین روش مدل‌های GLM رو داخلی ارائه داد. Stripe هم Opus 4.7 رو ارائه نداد چون نسبت به 4.6 گرون‌تر بود و خیلی بهتر نبود.

برای اینکه عوض کردن مدل راحت باشه، مقاله دو راه پیشنهاد می‌ده. یکی اینکه برنامه‌نویس‌ها بین harnessها (یعنی ابزاری مثل Claude Code، Codex یا Cursor که مدل رو اجرا می‌کنه) جابه‌جا بشن، که هزینه‌ی عوض کردن عادت براشون بالاست. راه دوم meta-harness هست، یعنی یه رابط مشترک که درخواست‌ها رو به harnessهای زیرش می‌فرسته. Databricks برای این کار Omnigent رو ساخته و رایگان در دسترس گذاشته.

اهرم بعدی routing هست، یعنی انتخاب خودکار مدل به جای اینکه کاربر خودش انتخاب کنه. سه نوع داره: routing برای هر درخواست با یه proxy وسط (مثل Cursor Router)، routing برای کل task که کار ساده مثل تغییر اسم کامپوننت رو به مدل ارزون می‌ده، و الگوی escalation که یه مدل ارزون کار رو جلو می‌بره و فقط موقع نیاز از مدل گرون کمک می‌گیره. به گفته‌ی Databricks، Smart Router اونا میانگین هزینه‌ی هر task رو بیش از ۳۰ درصد کم کرده و کیفیتش تقریباً هم‌سطح گرون‌ترین مدل مونده.

جالبه که مقاله سقف سفت بودجه رو آخرین راه می‌دونه. دلیلش اینه که قطع کردن دسترسی بهره‌وری رو نابود می‌کنه و بعضی از پرمصرف‌ترین کاربرها همونایی هستن که بیشترین خروجی رو دارن. به جاش شرکت‌ها یه رویکرد پله‌ای دارن: اول نشون دادن لحظه‌ای هزینه به خود برنامه‌نویس، بعد هشدارهایی که خودش می‌تونه ردشون کنه، بعد تأیید مدیر، بعد downshift به یه مدل ارزون‌تر، و فقط در آخر قطع کامل دسترسی.

آخرین اهرم کم کردن token اضافه‌ست. درخواست کوتاه کاربر بخش خیلی کوچیکی از ورودی مدله و بیشترش context، خروجی ابزارها و جستجوی کدیه که خود agent جمع می‌کنه. compaction بیشتر، ابزارهای کم‌حرف‌تر، کارهای کوچیک‌تر و تنظیم درست prompt caching کمک می‌کنن. Databricks با تنظیم ساده‌ی harness و cache، tokenهای تولیدی رو نزدیک ۵۰ درصد کم کرد، بدون افت کیفیت. همه‌ی اینا به یه AI Gateway مرکزی نیاز داره که مدل‌ها، بودجه، تنظیمات و لاگ‌ها رو یه جا مدیریت کنه.

نکات کلیدی:

• بزرگ‌ترین صرفه‌جویی از جابه‌جایی سریع به مدل‌های ارزون‌تری میاد که کیفیت کافی دارن.
• Stripe مدل Opus 4.7 رو داخلی ارائه نداد چون نسبت به 4.6 گرون‌تر بود و کیفیتش خیلی بهتر نبود.
• Smart Router در Databricks هزینه‌ی هر task رو بیش از ۳۰ درصد کم کرده.
• تنظیم harness و caching تو Databricks حدود ۵۰ درصد از tokenهای تولیدی رو حذف کرد.
• سقف سفت بودجه آخرین راهه؛ به جاش نمایش هزینه، هشدار پله‌ای و downshift به مدل ارزون‌تر استفاده می‌شه.
• Databricks دو ابزار Unity Gateway و Omnigent رو متن‌باز یا رایگان کرده.