کش ایجنتهای کدنویسی کجا از دست میره؟
خلاصهٔ کاملتر
ایجنت کدنویسی تو هر نوبت کل گفتگو رو دوباره برای مدل میفرسته. سرور میتونه کاری که قبلاً روی بخش تکراری انجام داده رو از KV cache (یعنی حافظهای که پردازش قبلی پرامپت رو نگه میداره) بخونه. اگه نتونه، باید از اول حساب کنه و هزینهش رو با GPU، پول و انتظار میدی. نویسندهی این مقاله بدون اجرای آزمایش جدید، دادههای عمومی تا ۱۸ اکتبر ۲۰۲۶ رو کنار هم گذاشته و برای هر عدد برچسب منبع (vendor، paper، sim یا blog) زده.
به گفتهی نویسنده کش به دو شکل از دست میره. اولی capacity missـه، یعنی حافظه پر میشه. وسط حلقهی ابزار، منابع مختلف بین ۹۴ تا ۹۹ درصد hit گزارش کردن، ولی TensorRT-LLM نشون داده با زیاد شدن سشنهای همزمان hit rate تا ۰.۷۳ میافته. دومی retention missـه، یعنی سشن خیلی منتظر مونده و کش دور ریخته شده. تو دادهی FreeInference (یه گیتوی رایگان از هاروارد با ۱۲,۰۰۲ سشن)، hit برای مکثهای ۱۵ تا ۳۰ دقیقهای حدود ۵۸ درصد و برای بیشتر از یه ساعت ۱۸ درصده.
دادهی Copilot هم همینو میگه: hit درون یه نوبت ۹۰ درصد و بین نوبتها ۵۵ درصد. عوض کردن مدل و compaction (یعنی خلاصه کردن کانتکست قدیمی توسط harness) کش رو باطل میکنن. بازپخش FreeInference نشون میده اجراهای SWE-bench با حدود ۵ دقیقه نگهداری کش راضیان، ولی سشنهای انسانی حدود یه روز لازم دارن. با TTL پونزده دقیقهای، سشنهای انسانی ۶۰.۹ درصد prefill بیشتری دارن.
مشکل اینه که بیشتر بنچمارکها مثل vLLM × Mooncake و AgentPerfBench اجراهای SWE-bench یا TerminalBench رو بدون آدم بازپخش میکنن. حتی AgentX که مکثهای واقعی Claude Code رو داره، idle کل سیستم رو به ۱۰ ثانیه محدود میکنه و فقط یه پنجرهی یهساعته رو پروفایل میکنه. به نظر نویسنده این یعنی AgentX هم بیشتر capacity miss رو میبینه.
موتورها و روترها بیشتر روی capacity کار کردن: vLLM × Mooncake نرخ hit رو از ۱.۷ به ۹۲.۲ درصد رسونده، llm-d حالت «sticky until saturated» رو پیشفرض کرده و Dynamo با زمانبندی session-aware بین ۱۲ تا ۱۶ درصد throughput بیشتر گرفته. سمت harness، مقالهی keepalive نشون داده اگه وسط مکث پرامپت رو دورهای دوباره بفرستی، هزینهی درخواست بعدی تا ۱۲.۵ برابر کمتر میشه. بهترین فاصله هم بزرگترین مقدار امن زیر TTL ارائهدهندهست، مثلاً حدود ۴ دقیقه برای TTL پنجدقیقهای.
جمعبندی نویسنده اینه که harness میدونه کی مکث پیش میاد و موتور میدونه چی تو کش داره، پس راهحل retention تو رابط بین این دوتاست. پیشنهادهایی مثل KvHint و lifecycle hintهای FreeInference هنوز نتیجهی منتشرشده ندارن.
نکات کلیدی:
- بین فراخوانیهای ابزار، ۹۴ تا ۹۹ درصد پرامپت از کش خونده میشه.
- بعد از بیشتر از یه ساعت مکث، hit rate تو FreeInference به ۱۸ درصد میرسه.
- سشنهای انسانی حدود یه روز نگهداری کش لازم دارن، اجراهای SWE-bench حدود ۵ دقیقه.
- Copilot درون نوبت ۹۰ درصد و بین نوبتها ۵۵ درصد hit داره.
- فاصلهی keepalive بهتره حدود ۴ دقیقه برای TTL پنجدقیقهای باشه، نه ۳۰ ثانیه.
- hit rate رو باید به تفکیک نوع مکث گزارش داد، نه بهصورت یه میانگین کلی.




