‏Lynkr: یه گیت‌وی هوشمند برای کم کردن مصرف توکن ابزارهای کدنویسی AI

Lynkr یه گیت‌وی LLM هست، یعنی یه پروکسی که بین ابزار کدنویسیت (مثل Claude Code، Cursor، Codex یا Cline) و مدل‌ها قرار می‌گیره. ادعای سازنده‌ش اینه که توی درخواست‌هایی که ابزار زیاد صدا می‌زنن ۵۳٪ توکن کمتر مصرف می‌شه و خروجی‌های بزرگ JSON تا ۸۴٪ کوچیک‌تر می‌شن. برای وصل کردنش هم فقط کافیه base URL ابزارت رو به عوض کنی.

چند تا کار اصلی انجام می‌ده. ابزارهایی که توی درخواست استفاده نمی‌شن رو حذف می‌کنه، نتیجه‌های JSON مثل خروجی grep یا تست رو با روشی به اسم TOON فشرده می‌کنه و یه semantic cache داره، یعنی اگه سؤالی شبیه سؤال قبلی بپرسی (حتی با جمله‌بندی دیگه) جواب رو از کش می‌ده. توی بنچمارک خودشون این کش جواب رو تو ۱۷۱ میلی‌ثانیه برگردونده و هیچ توکنی هم حساب نشده.

مهم‌ترین قابلیتش tier routing هست، یعنی هر درخواست بر اساس سختیش به یکی از چهار سطح SIMPLE، MEDIUM، COMPLEX یا REASONING فرستاده می‌شه. مثلاً سؤال ساده می‌ره سراغ یه مدل محلی Ollama و کار سخت می‌ره سراغ مدل گرون ابری. تصمیم‌گیری با ترکیب یه دسته‌بند مبتنی بر embedding، یه مدل محلی کوچیک (qwen2.5:3b) و قانون‌هایی مثل تشخیص فایل‌های حساس auth انجام می‌شه. طبق README، ۷۰ تا ۹۰ درصد درخواست‌ها به مدل‌های ارزون‌تر می‌رن.

تنظیمش با متغیرهای .env انجام می‌شه. این یه تیکه از نمونه‌ای هست که خود پروژه آورده:

TIER_SIMPLE=ollama:qwen2.5:3b
TIER_MEDIUM=ollama:qwen2.5:7b
TIER_COMPLEX=ollama:deepseek-r1:14b
TIER_REASONING=ollama:deepseek-r1:14b

یه حالت جدید هم به اسم wrap mode اضافه شده که با دستور lynkr wrap claude جلوی Claude Code قرار می‌گیره. اینطوری کارهای ساده به مدل‌های خودت می‌رن و سهمیه اشتراک Pro/Max فقط برای کارهای سخت خرج می‌شه. هر مکالمه هم به یه مدل می‌چسبه و فقط وقتی کار سخت‌تر شد بالا می‌ره.

تیم سازنده Lynkr رو با LiteLLM مقایسه کرده و می‌گه توی ۱۱ سناریوی مسیریابی، Lynkr همه رو درست رفته ولی روتر LiteLLM فقط ۴ تا رو. البته خودشون هم قبول دارن که این سناریوها از تست‌های خود Lynkr اومدن و بازی تو زمین خودیه. یه داشبورد داخلی هم داره که هزینه، صرفه‌جویی و دقت مسیریابی رو نشون می‌ده.

نکات کلیدی:

• با npm install -g lynkr نصب می‌شه و فقط به Node.js 20 به بالا نیاز داره
• از ۴ ارائه‌دهنده محلی (مثل Ollama و llama.cpp) و بیشتر از ۱۴ ارائه‌دهنده ابری پشتیبانی می‌کنه
• فشرده‌سازی TOON روی یه خروجی ۶۰ تایی grep تعداد توکن رو از ۳۴۵۸ به ۴۲۷ رسونده
• توی بنچمارک مستقل RouterArena به دقت ۶۸.۴۱٪ با هزینه ۰.۲۹ دلار برای هر هزار درخواست رسیده
• مجوزش Apache 2.0 هست و Vishal Veera Reddy ساختتش