چرا Antigravity سهمیهٔ هفتگی رو اینقدر سریع میخوره؟
خلاصهٔ کاملتر
نویسنده متوجه شده بود که سهمیهٔ هفتگی Google Antigravity (ابزار کدنویسی عاملی گوگل که CLI اون agy هست) خیلی سریع تموم میشه. حدسش این بود که مقصر عمر کوتاه prompt cache هست، یعنی کشی که پیشوند تکراری گفتگو رو نگه میداره تا هر بار از اول پردازش نشه. برای اثباتش هم باینری ۱۹۳ مگابایتی Go رو disassemble کرده و هم کلی تست زنده گرفته.
مدلهای Gemini 4 توی Antigravity فقط از implicit caching استفاده میکنن، یعنی کش خودکار و بدون تضمینی که سمت گوگل پیشوند درخواستها رو تطبیق میده. توکنهایی که از کش خونده بشن ۹۰ درصد تخفیف دارن. مشکل اینجاست که هر نوبت یه پیشوند سنگین داره: system prompt، تعریف ابزارها، MCP serverها و skillها. نویسنده میگه حتی با یه پرامپت پنجکلمهای، نوبت اول حدود ۱۶٬۸۰۰ توکن میفرسته.
توی جدول نمادهای باینری، نویسنده دو دستهٔ تلمتری به اسم lt_5m و ge_5m پیدا کرده و بعد با جستجوی دودویی مرز انقضای کش رو دقیق درآورده: با مکث ۴ دقیقه و ۴۵ ثانیه کش hit میشه و با ۵ دقیقه miss. یه نکتهٔ مهم دیگه هم اینه که هر hit تایمر کش رو از نو شروع میکنه. پس یه پینگ کوچیک قبل از پنج دقیقه کافیه تا کش گرم بمونه.
حسابوکتاب نویسنده نشون میده توی یه سشن با کانتکست ۱۵۰ هزار توکنی، یه مکث پنجدقیقهای حدود ۱۳۳ هزار توکن مؤثر اضافه خرج داره. البته پینگ هم مجانی نیست. برای همین فرمولی برای حداکثر تعداد پینگ (N_max) داده: با کانتکست ۱۶.۸k حدود ۳ پینگ و با ۱۵۰k حدود ۷ پینگ میصرفه. بعدش دیگه بهتره بذاری کش بمیره.
نویسنده دستور /btw (سؤال جانبی توی یه شاخهٔ جدا از گفتگو) رو هم امتحان کرده. کش اصلی رو گرم نگه میداره، ولی خودش یه درخواست سرد کامله و حدود ۴.۹ برابر یه پینگ معمولی خرج داره. حتی از قبول کردن یه miss هم حدود ۲۶ درصد گرونتره.
جالبترین بخش اینه که توی فایل modelapiccpa/keepalive.go یه موتور keep-alive آماده پیدا شده: هر ۲۷۰ ثانیه یه درخواست بیصدا با max_output_tokens = 1 میفرسته و جوابشو دور میریزه، پس تاریخچهٔ گفتگو کثیف نمیشه. ولی پشت یه فلگ سمت سرور و یه چک روی نوع provider قفله و فعلاً برای Gemini کار نمیکنه. نویسنده با پچ کردن باینری فعالش کرده و تو یه تست ششدقیقهای کش رو گرم نگه داشته؛ البته خودش میگه گوگل ممکنه این بخش رو بعداً عوض کنه یا حذفش کنه.
نکات کلیدی:
- کش implicit مدلهای Gemini توی Antigravity بین ۴ دقیقه و ۴۵ ثانیه تا ۵ دقیقه منقضی میشه.
- توکنهای خوندهشده از کش ۹۰ درصد ارزونترن و هر hit تایمر کش رو ریست میکنه.
- پیشوند پایه حتی برای یه پرامپت کوتاه بین ۱۳٬۸۰۰ تا ۱۶٬۸۰۰ توکنه؛ خاموش کردن MCP serverهای بیاستفاده هزینهٔ هر miss رو کم میکنه.
- دستور /btw کش رو گرم نگه میداره ولی حدود ۲۶ درصد از یه miss ساده گرونتره.
- گوگل یه keep-alive داخلی با فاصلهٔ ۲۷۰ ثانیه نوشته که فعلاً برای Gemini غیرفعاله.




