‏TrueForge: اجرای ایجنت‌های AI با مدل‌های لوکال

TrueForge یه هارنس ایجنت متن‌بازه که شرکت Two Foundry ساخته و با مجوز MIT منتشر شده. نویسنده مقاله می‌گه یه حلقه‌ی ساده‌ی ایجنت (مدل یه ابزار رو صدا می‌زنه، نتیجه برمی‌گرده تو پرامپت، دوباره تکرار می‌شه) رو می‌شه تو ۱۵ خط پایتون نوشت، ولی این حلقه به محض اینکه پای retry کردن API‌های ناپایدار، نگه‌داشتن state یه سشن طولانی، یا جلوگیری از دستور خطرناک مدل (مثل پاک کردن یه جدول دیتابیس) وسط بیاد، از کار می‌افته. TrueForge دقیقا همین زیرساخت گم‌شده رو اضافه می‌کنه: بارگذاری تنبل ابزارها، اجرای کد تو sandbox ایزوله، ساب‌ایجنت‌ها، فشرده‌سازی context و گیت‌های تایید انسانی، همه از طریق یه داشبورد، یه سرور HTTP و یه SDK.

چون TrueForge کاملا مستقل از مدله (یعنی هر API سازگار با فرمت OpenAI رو قبول می‌کنه)، می‌شه به‌جای سرویس‌های ابری، مدل لوکال خودتو بهش وصل کرد. کافیه تو تنظیمات گزینه‌ی Custom Provider رو انتخاب کنی، یه اسم و یه base URL برای سرور inference لوکالت وارد کنی و ذخیره کنی؛ از اون به بعد مدل تو هر جای TrueForge که بشه یه LLM انتخاب کرد در دسترسه. نویسنده تو یه دمو، دو تا مدل لوکال روی دو دستگاه DGX Spark رو همین‌جوری وصل کرده، بدون اینکه لازم باشه منطق ایجنت رو عوض کنه.

یه مشکل شناخته‌شده تو اجراهای طولانی اینه که هر turn کل تاریخچه‌ی مکالمه دوباره تو context تکرار می‌شه و کم‌کم نسبت سیگنال به نویز افت می‌کنه و مدل تو استدلال ضعیف‌تر می‌شه. TrueForge چند راه‌حل داره: بارگذاری تنبل ابزار (یعنی به‌جای لود کردن کل schema هر سرور MCP از اول، فقط اسم سرورها رو می‌ده و مدل خودش وقت نیاز schema رو می‌خواد)، آفلود فایل‌های حجیم به دیسک داخل sandbox به‌جای ریختنشون تو context، واگذاری تحقیق‌های شلوغ به یه ساب‌ایجنت با context تازه، و فشرده‌سازی خودکار تاریخچه‌ی قدیمی وقتی context از یه حد مشخص رد می‌شه که طبیعتا یه‌کم جزئیات رو فدا می‌کنه.

تو «code mode»، به‌جای اینکه مدل منتظر جواب JSON کامل بمونه و خودش روش محاسبه کنه، یه اسکریپت کوتاه می‌نویسه که داخل sandbox ایزوله (پیش‌فرض Daytona) اجرا می‌شه و فقط نتیجه‌ی نهایی برمی‌گرده به مدل؛ این کار هم توکن کمتر مصرف می‌کنه هم کلیدهای API رو از محیط اجرا دور نگه می‌داره. sandboxها هم فقط وقت نیاز بالا میان و بعدش خاموش می‌شن. برای دستورهای خطرناک هم می‌شه گیت تایید انسانی گذاشت: ابزارهای فقط-خواندنی خودکار اجرا می‌شن ولی کارهای مخرب مثل تغییر کانفیگ منتظر تایید صریح آدم می‌مونن؛ تو یه نمونه، یه ایجنت on-call تونسته خودش ریشه‌ی یه مشکل (تغییر یه environment variable) رو پیدا کنه ولی برای اعمال تغییر منتظر تایید مونده.

نویسنده نتیجه می‌گیره که برای تیم‌هایی که همین الان مدل رو رو سخت‌افزار خودشون اجرا می‌کنن، TrueForge زیرساخت سطح-production (retry، sandbox، ردیابی، تایید) رو بدون قفل شدن رو یه وندور خاص می‌ده. نقطه‌ضعفش سرعته: مدل‌های لوکال، به‌خصوص رو سخت‌افزار معمولی، کندتر از مدل‌های ابری جواب می‌دن و تو یه اجرای چند مرحله‌ای این تاخیر بیشتر حس می‌شه. در عوض کنترل کامل رو داده و اجرای کد، بدون هزینه‌ی توکن ابری، و یه رکورد کامل از هر تصمیم ایجنت به دست میاری.

نکات کلیدی:

• TrueForge متن‌بازه و با مجوز MIT از Two Foundry منتشر شده
• با هر API سازگار با OpenAI کار می‌کنه، حتی مدل‌های لوکال
• اتصال مدل لوکال فقط با تنظیم Custom Provider (اسم + base URL) انجام می‌شه
• پیش‌فرض sandbox، Daytona هست و نیاز به API key داره
• گیت تایید انسانی رو می‌شه فقط رو ابزارهای مخرب فعال کرد، نه ابزارهای فقط-خواندنی