‏OpenSquilla: رانتایم متن‌باز AI Agent با مصرف توکن ۸۰٪ کمتر

OpenSquilla اولین نسخه عمومی‌اش رو منتشر کرده: یه رانتایم متن‌باز و self-hostable (یعنی روی سرور خودت اجراش می‌کنی) برای AI Agentها که حول یه مشکل اساسی طراحی شده — اکثر فریمورک‌های موجود هیچ مکانیزم مؤثری برای کنترل مصرف توکن ندارن. این پروژه مخصوص تیم‌هایی‌ه که Agentها رو برای کارهای طولانی‌مدت اجرا می‌کنن و هزینه توکن با گذشت زمان به سقف عملیاتی‌شون تبدیل می‌شه.

در یه تست واقعی با سه نوع درخواست مختلف (یه سوال ساده، یه خلاصه فنی متوسط، و یه تحلیل رقابتی کامل)، مجموعاً ۲۷۹٬۷۶۲ توکن پردازش شد و هزینه کل جلسه فقط ۰.۰۰۹۴ دلار بود. از این میزان، حدود ۸۰ درصد یعنی ۲۲۲٬۸۴۸ توکن مستقیماً از کش سرویس داده شدن، نه اینکه دوباره به مدل ارسال بشن.

منطق کاهش هزینه روی یه ترکیب از استراتژی‌های روتینگ بنا شده. یه کلاسیفایر ML هر درخواست ورودی رو بر اساس پیچیدگی‌اش امتیازدهی می‌کنه — با ترکیب سیگنال‌هایی مثل طول پیام، وجود کدبلاک، و الگوهای کلیدی، کنار ویژگی‌های معنایی (embedding). درخواست‌های ساده به مدل‌های ارزان‌تر روت می‌شن و قابلیت‌ «deep reasoning» برای تسک‌های سبک غیرفعاله. Skillها هم فقط در صورت نیاز بارگذاری می‌شن، نه اینکه همه‌شون توی هر context window جا بگیرن.

حافظه با یه معماری شناختی چهارلایه مدیریت می‌شه که از ساختار حافظه انسانی الهام گرفته: ۱) Working memory برای تسک جاری، ۲) Episodic memory برای تجربه‌ها و روابط علّی بین جلسات، ۳) Semantic memory برای حقایق و قوانین پایدار، و ۴) Raw memory به‌عنوان پایه آرشیو و بازآموزی. جستجوی بازیابی از ترکیب موازی جستجوی برداری (vector-semantic) و BM25 (full-text) استفاده می‌کنه و embedding‌ها به‌صورت محلی از طریق ONNX پردازش می‌شن — بدون نیاز به سرویس خارجی. هر ۲۴ ساعت یه پاس «تثبیت حافظه» اجرا می‌شه که خودشون بهش Memory Dream Consolidation می‌گن.

در بخش امنیت، به جای Docker از ایزولاسیون در سطح syscall استفاده می‌شه. ابزارها سه سطح دارن: اجرای مستقیم، نیاز به تأیید sandbox، یا الزام به بررسی انسانی. روی لینوکس از Bubblewrap و روی macOS از Seatbelt استفاده می‌شه. اگه Agent سه بار پشت سر هم رد بشه، یه «denial ledger» اون رو متوقف می‌کنه تا از تلاش brute-force جلوگیری بشه. همچنین تمام متادیتای Skillها و نتایج ابزار قبل از رسیدن به مدل XML-escape می‌شن تا حملات prompt injection بسته بشن.

معماری کلی یه microkernel هست — یه هسته مرکزی ~۱۰۰ خطی برای مدیریت state و pipeline، و هر چیز دیگه‌ای از مدل‌های زبانی تا کانال‌های پیام‌رسان به‌صورت ماژول جداگانه اضافه می‌شه. نوشتن یه پلاگین فقط یه کلاس پنج‌خطی با duck typing نیازه، بدون base class یا manifest. بیش از ۱۰ کانال آماده داره از جمله Slack، Discord، Telegram، و MS Teams.

نکات کلیدی:

• کاهش ۶۰ تا ۸۰ درصدی هزینه توکن نسبت به پیکربندی تک‌مدل ثابت
• کش هوشمند context که در تست واقعی ۸۰٪ توکن‌ها رو از کش سرویس داد
• روتینگ مبتنی بر پیچیدگی: مدل ارزان‌تر برای تسک ساده، مدل قوی‌تر فقط برای موارد نیازمند
• معماری حافظه چهارلایه با جستجوی ترکیبی برداری + متنی، همه روی دستگاه خودت
• ایزولاسیون امنیتی در سطح syscall بدون نیاز به Docker
• پلاگین‌نویسی بسیار ساده با یه کلاس پنج‌خطی
• لایسنس Apache-2.0، نیاز به Python 3.12+، در دسترس روی GitHub