‏بنچمارک Billion Context: هزینه کمتر، حافظه دقیق ضعیف‌تر

Billion Context یه پروکسی متن‌باز هست که بین ایجنت کدنویسی و API مدل می‌شینه و تاریخچه گفتگو رو همون لحظه فشرده می‌کنه. یعنی به‌جای اینکه تاریخچه بی‌حساب بزرگ بشه یا یکجا تبدیل به یه خلاصه ناقص بشه، تیکه‌تیکه خلاصه‌ش می‌کنه. این پروژه تو کمتر از سه ماه حدود ۳۷۰۰ ستاره و ۳۰۰ فورک تو GitHub گرفته. نویسنده مقاله می‌گه برای قضاوت درباره ادعای «context بی‌نهایت» باید مستقیم سراغ اعداد بنچمارک رفت، نه تبلیغاتش.

روش کارش اینه که چهار ابزار مستقیم دست خود مدل می‌ده: compress که یه بازه از پیام‌ها رو خلاصه می‌کنه، decompress که همون بازه رو وقتی جزئیات دقیق لازمه برمی‌گردونه، search context که توی بخش‌های فشرده‌شده جستجوی کلمه کلیدی می‌کنه، و یه ابزار status که می‌گه پنجره context چقدر پر شده. پس تصمیم فشرده‌سازی با خود مدله، نه یه قانون ثابت که پیام‌های قدیمی رو می‌بُره. چون فشرده‌سازی برگشت‌پذیره، چیزی برای همیشه گم نمی‌شه.

این طراحی prompt caching (یعنی اینکه APIها توکن‌های تکراری اول پرامپت رو ارزون‌تر حساب می‌کنن) رو هم سالم نگه می‌داره. طبق ادعای پروژه، یه جلسه سالم ۹۵ تا ۹۷ درصد cache hit داره و خود فشرده‌سازی حداکثر ۲ درصد هزینه اضافه می‌کنه. بخش بزرگی از صرفه‌جویی از همین‌جا میاد.

تو بنچمارک Context Bench (یه مجموعه تست که ایجنت کدنویسی توش ریپوهای واقعی رو می‌گرده) با مدل DeepSeek V3.1 Flash، امتیاز F1 برای Billion Context شد ۰.۳۱ در برابر ۰.۲۹ برای full context، با هزینه ۴.۶۱ دلار در برابر ۱۱.۰۵ دلار. یعنی هم ارزون‌تر بوده هم یه کم دقیق‌تر. تو LongMemEval که حافظه بلندمدت گفتگو رو می‌سنجه، ۷۹.۲ درصد گرفت؛ کمتر از ۸۳.۲ درصدِ full context ولی خیلی بالاتر از ۶۲.۶ درصد بهترین تنظیم RAG، اونم با ۷۱ درصد هزینه کمتر.

قوی‌ترین نتیجه مال تست ۱.۴۸ میلیون توکنیه: full context تو همه ۱۹۹ تلاش شکست خورد ولی Billion Context با حدود ۳۰ برابر فشرده‌سازی همه‌شون رو رد کرد. در عوض تو تست needle-in-haystack (یعنی پیدا کردن یه جمله دقیق وسط یه متن خیلی طولانی) دقت از ۶۹ به ۲۷ درصد افتاد. نویسنده می‌گه این خلاصه‌سازی معنی رو نگه می‌داره، نه متن عین‌به‌عین رو؛ پس اگه ایجنت یه پیام خطا یا اسم متغیر دقیق از خیلی قبل لازم داشته باشه، باید اون بازه رو دستی decompress کنه.

چندتا محدودیت عملی هم هست: پروژه تو نسخه 0.121 و در حال توسعه سریعه و به‌صورت پیش‌فرض خودش آپدیت می‌شه، پس نصب از نسخه npm امن‌تر از شاخه اصلیه. اگه پروکسی روی شبکه باز بشه هیچ احراز هویتی نداره. بعضی کلاینت‌ها هم ممکنه کلاً پروکسی رو دور بزنن. طبق مقاله پروژه، ۴.۵ ماه استفاده واقعی با ۱۷۴ هزار فراخوانی مدل و ۱۸.۷۶ میلیارد توکن ورودی، هیچ سرریز context روی مدل‌های ۲۰۰ هزار توکنی نداشته.

نکات کلیدی:

• روی DeepSeek V3.1 Flash هزینه از ۱۱.۰۵ به ۴.۶۱ دلار رسید (۵۸ درصد کمتر) و F1 از ۰.۲۹ به ۰.۳۱ رفت.
• تو LongMemEval امتیاز ۷۹.۲ درصد گرفت؛ full context ۸۳.۲ و بهترین RAG ۶۲.۶ درصد.
• تو تست ۱.۴۸ میلیون توکنی، full context صفر از ۱۹۹ و Billion Context ۱۹۹ از ۱۹۹ موفق بود.
• دقت needle-in-haystack از ۶۹ به ۲۷ درصد افت کرد.
• چهار ابزار compress، decompress، search context و status دست خود مدل داده می‌شه.
• پروکسی روی شبکه باز احراز هویت نداره و نسخه فعلیش 0.121 هست.