راهنمای inference برای مهندسهای پلتفرم
خلاصهٔ کاملتر
تیم Modelplane (از شرکت Upbound، سازندهٔ Crossplane) یه راهنمای مفصل برای مهندسهای پلتفرمی نوشته که تازه با inference (یعنی اجرای مدل آموزشدیده برای جواب دادن به درخواستها) سروکار پیدا کردن. نویسندهها میگن تو سازمانهایی که روی AI حساب کردن، تیم پلتفرم کمکم تیم inference میشه. دلیلش اینه که کد رو نمیشه به سرویس بیرونی فرستاد، قبض مدلهای بزرگ هر ماه بیشتر میشه و مدلهای باز هم حالا واقعاً رقیب مدلهای بسته شدن.
به گفتهٔ راهنما، inference engine مثل vLLM یا SGLang رو میشه یه دیتابیس stateful با GPU تصور کرد. موقع شروع، وزنهای مدل رو تو حافظهٔ GPU لود میکنه و برای هر مکالمه یه KV cache نگه میداره (یعنی کلیدها و مقدارهای attention توکنهای قبلی که دوباره حساب نشن). وزنها ثابتن: یه مدل 8B با دو بایت به ازای هر پارامتر حدود 16GB جا میگیره. ولی KV cache با طول context ضربدر تعداد کاربرهای همزمان بزرگ میشه.
KV bytes per token = 2 × layers × KV heads × head dimension × bytes per valueبا این فرمول، Llama 3 70B تو FP16 حدود 320KB به ازای هر توکن میخواد، یعنی یه مکالمهٔ 128K توکنی حدود 40GB کش لازم داره. برای همین معمولاً KV cache تعیین میکنه یه GPU چند نفر رو میتونه سرویس بده. نکتهٔ دیگه اینه که مدلهای MoE (یعنی مدلهایی که هر بار فقط بخشی از پارامترهاشون فعاله) باز هم همهٔ وزنها رو باید تو حافظه نگه دارن.
هر درخواست دو مرحله داره. prefill کل ورودی رو موازی میخونه و محدودیتش قدرت محاسبهست، و زمان اولین توکن (TTFT) رو تعیین میکنه. decode جواب رو توکن به توکن مینویسه و محدودیتش پهنای باند حافظهست. راهنما معیارهایی مثل TTFT، زمان هر توکن خروجی، throughput و goodput (یعنی throughputی که هنوز هدفهای latency رو رعایت میکنه) رو معرفی میکنه و میگه برنامهریزی ظرفیت باید با goodput باشه.
تو بخش production، تجربهٔ پروژهٔ Project Champagne در Upbound اومده. اونجا حدود ۱۰ مهندس با Claude Code روی یه مدل self-hosted کار کردن. میانهٔ طول prompt حدود 59K توکن بود و حدود دوسوم توکنها از prefix cache میاومد. نویسندهها میگن vLLM و زمانبندی خوب کار کرد و بیشتر وقت سر TLS، هویت، timeout، storage و observability رفت.
توصیهشون اینه که round-robin نکنید و از routing آگاه به کش استفاده کنید، همهٔ timeoutهای مسیر رو بالا ببرید و برای agentها کلید API بلندمدت بدید.
نکات کلیدی:
- یه مدل 8B تو BF16 حدود 16GB حافظهٔ GPU میگیره
- KV cache مدل Llama 3 70B تو FP16 حدود 320KB به ازای هر توکنه
- prefill محدود به محاسبهست و decode محدود به پهنای باند حافظه
- continuous batching و paged KV cache تو vLLM و SGLang پیشفرض روشنن
- تو Project Champagne حدود دوسوم توکنهای prompt از prefix cache اومد
- توکن هویتی ۶۰ دقیقهای وسط session چندساعتهٔ agent قطع میشه




