مهندسی inference: کی وقتشه از API آزمایشگاههای بزرگ هوش مصنوعی جدا شی؟
خلاصهٔ کاملتر
Gergely Orosz و Ivan Klaric تو این مقاله از روندی میگن که شرکتها برای کم کردن هزینهٔ AI سراغ مدلهای باز میرن: اوبر هزینهٔ هر توکن رو حدود 50٪، پینترست 90٪ و AT&T هم 56٪ کم کرده. دو راه هست: خرید GPU و اجرای مستقیم، مثل Revolut که 56 تا B200 خودش راه انداخته، یا استفاده از یه inference provider. یعنی شرکتی که مدلهای open-weight رو روی ناوگان GPU خودش اجرا میکنه و یه API شبیه OpenAI بهت میده.
فرق این سرویسدهندهها با آزمایشگاههای فرانتیر اینه که مدل پایهشون رو خودشون pre-train نمیکنن. بهجاش روی قیمت، سختافزار اختصاصی و بهینهسازی رقابت میکنن. مثلاً Fireworks مدل Ember-1 رو روی Kimi K3 پسآموزش داده و با همون کیفیت 40٪ توکن استدلال کمتری مصرف میکنه. نویسندهها میگن uptime آزمایشگاهها هم پایینه: Anthropic حدود 99.5٪ و API اوپنایآی 99.97٪، که از استاندارد 99.99٪ سرویسهای ابری عقبتره. واسه همین خیلیها یه LLM gateway با fallback به سرویسدهندهٔ دیگه میذارن.
سه دلیل اصلی برای جابهجایی هست: هزینه، کنترل روی latency و نیاز به fine-tune. خیلی از درخواستها اصلاً به مدل فرانتیر نیاز ندارن، پس یه smart router (یعنی مسیریابی که با دیدن prompt، درخواست رو به ارزونترین مدل کافی میفرسته) کلی صرفهجویی میکنه. برای انتخاب مدل هم به گفتهٔ مقاله، eval خصوصی خودت از بنچمارک عمومی مهمتره. طبق شاخص Artificial Analysis، Sonnet 5.5 بهطور میانگین 5.46 دلار برای هر تسک خرج داره و Kimi K3 حدود 2 دلار، یعنی حدود 60٪ ارزونتر.
مسیر معمول سه مرحلهست: API آزمایشگاه، بعد API اشتراکی (multi-tenant) یه inference provider، و آخر سر GPU اختصاصی. نویسندهها میگن مشتریها معمولاً وقتی محصولشون جا افتاده سراغ مرحلهٔ اول میرن، و مرحلهٔ دوم تعهد مالی بلندمدت میخواد، چون کمبود جهانی GPU هست. دقت سرویسدهندهها هم یکی نیست: امتیاز endpoint accuracy بینشون از 93٪ تا 102٪ فرق میکنه.
تو API اشتراکی، مشکل اصلی TTFT هست، یعنی زمان از رسیدن درخواست تا اولین توکن. توزیعش دُم بلندی داره، پس p95 و p99 به اندازهٔ میانه مهمن. دلیلهاش: همسایهٔ پرسروصدا تو batch، cold start وقتی replica جدید باید بالا بیاد، و cold cache، یعنی درخواست روی replicaیی میافته که KV cache لازم (حافظهٔ محاسبات قبلی prompt) رو نداره. مدیر فنی Fireworks بیحالت بودن APIهای LLM رو «گناه اولیه» میدونه، چون بیشتر کاربردها stateful هستن (یعنی به تاریخچهٔ گفتگو وابستهان) و بار کش کردن میافته رو دوش سرویسدهنده. بقیهٔ مقاله پشت paywall هست.
نکات کلیدی:
- اوبر حدود 50٪، پینترست 90٪ و AT&T هم 56٪ هزینهٔ هر توکن رو با مدلهای باز کم کردن.
- Modal، Fireworks و Baseten سه inference provider اصلی بررسیشده تو مقاله هستن.
- uptime اعلامی Anthropic حدود 99.5٪ و API اوپنایآی 99.97٪ هست، پایینتر از 99.99٪ سرویسهای ابری.
- مقایسهٔ هزینه باید به ازای هر تسک باشه نه هر توکن، چون مدلها برای یه کار تعداد توکن متفاوتی مصرف میکنن.
- طبق گفتهٔ Modal، حدود 10٪ مشتریها تا مرحلهٔ fine-tune مدل پیش میرن.
- برای کم کردن latency سمت کاربر، connection pooling سمت مصرفکنندهٔ API کمک میکنه.




