‏کاهش هزینه‌های هوش مصنوعی با مدل‌های متن‌باز

به گفته‌ی نویسنده‌ی Pragmatic Engineer، یه روند جدی داره شکل می‌گیره: شرکت‌های بزرگ تک بعد از ماه‌ها آزمایش، دارن هزینه هوش مصنوعی خودشون رو با جایگزین کردن مدل‌های فرانتیر گرون (مثل Claude و GPT) با مدل‌های متن‌باز روی سرویس‌های inference (یعنی زیرساخت‌هایی که فقط کار اجرا کردن مدل رو انجام می‌دن) کم می‌کنن.

اوبر با ترکیبی از چند تکنیک هزینه هر درخواست هوش مصنوعی رو ۳۴ درصد و هزینه هر session رو ۵۲ درصد کم کرده. اجرای مدل‌های متن‌باز روی inference (که ۲ تا ۲۰ برابر ارزون‌تر از مدل‌های فرانتیرن)، انتخاب مدل بر اساس بنچمارک هفتگی، استفاده از مدل‌های ارزون‌تر برای subagentها، پیش‌فرض گذاشتن effort روی حالت Medium، فشرده‌سازی خودکار context بالای ۴۰۰ هزار توکن، و کش کردن promptها همه بخشی از این بهینه‌سازی بودن.

پینترست هم تو earnings call اخیرش گفته با استفاده از مدل‌های متن‌باز که خودشون روی داده‌های اختصاصیشون fine-tune کردن، هزینه هر تراکنش رو به کمتر از ۸ درصد نسخه‌ی مدل‌های بسته رسونده؛ یعنی چیزی که قبلاً ۱۰۰ دلار می‌شده، الان ۸ دلار تموم می‌شه. AT&T هم با سوییچ کردن به مدل‌های متن‌باز از طریق روتر LiteLLM، هزینه‌ی برخی تسک‌های کدنویسی رو ۵۶ درصد پایین آورده، اونم با فقط ۲ درصد افت کیفیت.

نویسنده می‌گه دلیل اصلی این روند اینه که مدل‌های Anthropic (که قبلاً محبوب‌ترین گزینه بین توسعه‌دهنده‌ها بودن) دارن خیلی گرون‌تر می‌شن، در حالی که مدل‌های متن‌باز و حتی OpenAI دارن ارزون‌تر می‌شن. برای مثال Opus 5 حدود ۱۰۰ برابر گرون‌تر از مدل‌هایی مثل GPT-5.6 Luna xhigh یا DeepSeek قیمت‌گذاری شده، در حالی که از نظر توانایی فاصله‌ی چندانی باهاشون نداره.

طبق تحقیقی که تیم Databricks با مهندس‌های Stripe، Coinbase، اوبر و Ramp انجام داده، استفاده از مدل‌های متن‌باز بیشترین صرفه‌جویی رو داره و بعدش مسیریابی هوشمند بین مدل‌ها (model routing) بیشترین تاثیر رو داشته. داده‌های Ramp هم نشون می‌ده هزینه‌ی هوش مصنوعی در ماه آگوست بین ۱ درصد بزرگ‌ترین کسب‌وکارها حدود ۱۰ درصد کم شده، که به گفته‌ی نویسنده احتمالاً به‌خاطر کمتر شدن مصرف توکن نیست، بلکه به‌خاطر همین بهینه‌سازی‌هاست.

نکات کلیدی:

• اوبر با ترکیب چند تکنیک هزینه هر session رو ۵۲ درصد کم کرده
• پینترست با مدل‌های متن‌باز فاین‌تیون‌شده به کمتر از ۸ درصد هزینه‌ی مدل‌های بسته رسیده
• AT&T با LiteLLM هزینه‌ی برخی تسک‌ها رو ۵۶ درصد کم کرده، با فقط ۲ درصد افت کیفیت
• Opus 5 حدود ۱۰۰ برابر گرون‌تر از DeepSeek یا GPT-5.6 قیمت‌گذاری شده
• طبق داده‌ی Databricks، مدل‌های متن‌باز و model routing بیشترین صرفه‌جویی رو دارن