billion-context: فشردهسازی context برای سشنهای چندهفتهای ایجنتهای کدنویسی
خلاصهٔ کاملتر
billion-context یه پلاگین فشردهسازی context هست که بین هر ایجنت کدنویسی و API مدل میشینه و استریمهای Anthropic و OpenAI رو با موتور acp-kernel بازنویسی میکنه. مشکلی که حل میکنه سادهست: سشنهای طولانی کدنویسی context رو پر میکنن، هر توکن هزینه داره و وقتی از context window رد بشی سشن خراب میشه یا میمیره. ادعای پروژه اینه که با یه پنجرهی ۱۰۰ هزار توکنی میشه سشنهای یکماهه با میلیاردها توکن داشت و حدود ۵ برابر کمتر توکن خرج کرد.
فرق اصلیش با خلاصهساز داخلی ابزارها اینه که خود مدل تصمیم میگیره کی و چی رو فشرده کنه، نه یه محدودیت سخت که گفتگو رو قطع کنه. فشردهسازی تدریجیه، یعنی بازههای کوچیک خلاصه میشن؛ قابل برگشته؛ و با prefix cache (یعنی کشی که بخش ثابت اول درخواست رو نگه میداره تا دوباره پردازش نشه) سازگاره. طبق مستندات، یه سشن سالم ۹۵ تا ۹۷ درصد cache hit داره و خود فشردهسازی حداکثر ۲٪ از اون کم میکنه.
پروکسی چهار ابزار به گفتگو اضافه میکنه که مدل خودش صداشون میزنه: compress برای جمع کردن یه بازه از پیامها تو یه خلاصهی دقیق، decompress برای برگردوندن جزئیات وقتی دوباره لازم شد، search_context برای جستجوی کلمهای تو خلاصهها، و acp_status برای دیدن وضعیت مصرف context.
سه راه برای استفاده هست: نصب بهعنوان پلاگین بومی داخل کلاینت (برای pi، omp، opencode، dsh، kimi، hermes و zcode)، اجرای کلاینت با launcher دستور bili که بدون دست زدن به کانفیگ واقعی پروکسی رو بالا میاره، یا اضافه کردن پیشوند /bili/ به base URL کلاینت. بیش از ۲۰ کلاینت پشتیبانی میشن، از Claude Code و Codex تا Gemini CLI، aider و Zed. نکتهی مهم اینه که پلاگین بومی و افزونههای مستقل قدیمی نباید همزمان فعال باشن، وگرنه فشردهسازی دوبار انجام میشه.
یه محدودیت هم برای Claude Code ذکر شده: چون مسیریابی با یه ANTHROPIC_BASE_URL سفارشی انجام میشه، Claude Code سشن رو شخص ثالث حساب میکنه و قابلیتهای وابسته به حساب مثل Remote Control غیرفعال میشن. تب Code تو اپ دسکتاپ Claude هم کلاً پروکسی رو دور میزنه.
نویسنده یه مقالهی متنباز هم منتشر کرده که دادهی ۴.۵ ماه استفاده رو بررسی میکنه: ۱۷۴٬۳۲۷ فراخوانی مدل، ۱۸.۷۶ میلیارد توکن ورودی و صفر بار عبور از پنجرهی ۲۰۴٬۸۰۰ توکنی. تو بنچمارکهای مستقل هم رتبهی اول ContextBench با ۵۸.۳٪ هزینهی کمتر از context کامل رو گرفته، تو LongMemEval-S با ۷۹.۲٪ حدود ۱۶.۶ واحد از بهترین روش RAG جلوتر بوده و تو MemoryAgentBench با ۱.۴۸ میلیون توکن ۱۰۰٪ سشنها زنده موندن.
نکات کلیدی:
- ادعا: سشنهای یکماهه با پنجرهی ۱۰۰K و حدود ۵ برابر توکن کمتر.
- چهار ابزار compress، decompress، search_context و acp_status به مدل داده میشه.
- cache hit سالم ۹۵ تا ۹۷ درصده و فشردهسازی حداکثر ۲٪ هزینه داره.
- بیش از ۲۰ کلاینت با سه روش پلاگین بومی، launcher و پیشوند /bili/ پشتیبانی میشن.
- رتبهی اول ContextBench و ۷۹.۲٪ تو LongMemEval-S در برابر ۶۲.۶٪ بهترین RAG.
- روی Claude Code قابلیت Remote Control موقع استفاده از پروکسی از دست میره.




