Billion Context: پروکسیای برای جلسههای طولانی ایجنتها
خلاصهٔ کاملتر
Billion Context یه پروکسی متنباز هست که بین ایجنت کدنویسی و API مدل میشینه. مشکلی که حل میکنه اینه که جلسههای طولانی ایجنت یا از پنجره context (یعنی حداکثر متنی که مدل یکجا میبینه) رد میشن یا هر نوبت کل تاریخچه سنگین رو دوباره میفرستن و هزینه توکن بالا میره. این پروژه تو حدود سه ماه بیشتر از ۳۷۰۰ ستاره و ۳۰۰ فورک تو GitHub گرفته. افزونه یه ایجنت خاص نیست؛ فقط base URL ایجنت رو سمتش میفرستی.
بهجای بریدن پیامهای قدیمی یا یه خلاصه بزرگ و مبهم، چهار ابزار دست مدل میده: Compress برای خلاصه کردن یه بازه از پیامها، Decompress برای برگردوندن همون بازه، Search context برای جستجوی کلمه کلیدی توی بخشهای فشرده، و Status (یا ACP status) که میگه context چقدر پره. فشردهسازی کمکم و تو بازههای کوچیک انجام میشه، پس prompt cache تقریباً دستنخورده میمونه. طبق گزارش پروژه، cache hit بین ۹۵ تا ۹۷ درصده و سربار خود فشردهسازی ۲ درصد یا کمتره.
تو بنچمارک Context Bench با DeepSeek V4.1 Flash، امتیاز F1 شد ۰.۳۱ در برابر ۰.۲۹ برای full context، با هزینه ۴.۶۱ دلار بهجای ۱۱.۰۵ دلار. تو بنچمارک حافظه بلندمدت ۷۹.۲ درصد گرفت که از ۸۳.۲ درصد full context کمتره ولی از ۶۲.۶ درصد RAG خیلی بهتره. تو یه جلسه ۱.۴۸ میلیون توکنی، full context تو همه ۱۹۹ تلاش شکست خورد و این پروکسی همه رو رد کرد. نقطه ضعفش پیدا کردن یه جمله دقیقه که از ۶۹ به ۲۷ درصد افت کرد.
نصبش یه پکیج سراسری npm هست که دستور billy رو بهت میده. سه راه داری: نصب پلاگین بومی با billy plugin install برای کلاینتهایی مثل Pi، Open Code، Kimi Code یا Hermes؛ اجرای کلاینت از طریق پروکسی با billy claude یا billy codex بدون دست زدن به کانفیگ؛ یا اجرای خود billy و فرستادن هر base URL سازگار با OpenAI یا Anthropic به سمتش، که راه لازم برای Cline هست. یه داشبورد محلی روی localhost:8787 هم داره و دستور /acp cache گزارش cache hit و توکنهای صرفهجوییشده رو نشون میده.
نویسنده پیشنهاد میکنه اینو با Cline Pass ترکیب کنی؛ یه پلن ماهانه ثابت برای مدلهای باز مثل DeepSeek V4.1 Flash، Kimi K3.1 Pro و GLM 5.3 که API سازگار با OpenAI هم داره. منطقش اینه که حتی پلنهای ثابت هم محدودیت ساعتی و هفتگی دارن و جلسهای که هر بار کل تاریخچه رو میفرسته زود به سقف میخوره. همین تنظیم تو Claude Desktop هم کار میکنه، ولی تب code خود Claude Desktop پروکسی رو دور میزنه.
چندتا هشدار هم هست: پروژه سریع تغییر میکنه (نسخه بالای 0.12) و خودش آپدیت میشه، پس نسخههای npm امنتر از شاخه توسعهن. اگه با فلگ host روی شبکه بازش کنی احراز هویت نداره و فقط باید رو شبکه مطمئن باشه. نویسنده میگه برای جلسههای طولانی روی کدبیسهای بزرگ میارزه، ولی جایی که متن دقیق مهمه باید حواست به افت یادآوری باشه.
نکات کلیدی:
- با npm نصب میشه و دستور billy رو میده؛ داشبوردش روی localhost:8787 هست.
- روی DeepSeek V4.1 Flash حدود ۵۸ درصد ارزونتر بوده و F1 رو از ۰.۲۹ به ۰.۳۱ رسونده.
- تو تست ۱.۴۸ میلیون توکنی همه ۱۹۹ اجرا رو رد کرده، با حدود ۳۰ برابر فشردهسازی.
- دقت پیدا کردن جمله دقیق از ۶۹ به ۲۷ درصد افت کرده.
- تب code تو Claude Desktop پروکسی رو دور میزنه و فشردهسازی نمیشه.
- حالت شبکهای پروکسی احراز هویت نداره.




