‏Turnstone: پخش کارهای ایجنت‌های کدنویسی روی چند سیستم لوکال

Turnstone یه لایه orchestration هست، یعنی ابزاری که کار رو بین چند ایجنت و چند سیستم تقسیم و زمان‌بندی می‌کنه. به‌جای اینکه همه پرامپت‌ها برن سراغ یه مدل، چند سیستم رو به‌عنوان node ثبت می‌کنید و به هر کدوم مدل و نقش جدا می‌دید. بعد یه تسک کامل مثل رفع باگ، اضافه کردن فیچر یا پورت کردن یه ریپو به معماری دیگه رو بهش می‌سپارید.

شروع کار با ثبت یه endpoint مدله، معمولاً base URL و IP یه مدلی که لوکال اجرا می‌شه. می‌شه چند مدل با تخصص‌های مختلف اضافه کرد و قانون routing گذاشت که هر نوع درخواست بره سراغ یه مدل خاص. Turnstone چند persona (یعنی نقش از پیش تعریف‌شده برای ایجنت) داره: engineer، executive، manager، orchestrator، researcher، scribe و writer. هر کدوم دستورالعمل و حافظه خودشون رو دارن و بعضی‌هاشون از سرورهای MCP هم پشتیبانی می‌کنن.

وقتی یه تسک کدنویسی می‌دید، orchestrator یه manager و یه evaluator کنار ایجنت‌های worker می‌سازه. manager کار رو به زیرتسک می‌شکنه و دنبالش می‌کنه و evaluator قبل از تموم شدن کار، خروجی رو چک می‌کنه. تو یه نمونه، کاربر ازش خواست برای اسکریپت‌های راه‌اندازی سیستم‌ها یه branch سازگار با ARM بسازه، چون اسکریپت‌ها فقط با x86 کار می‌کردن. هم‌زمان یه تسک رفع باگ تو یه ریپوی دیگه هم روی همون سیستم اجرا شد. اون رفع باگ حدود ۱۵ هزار توکن مصرف کرد و جزئیات مصرف هر زیرتسک هم قابل دیدنه.

nodeها می‌تونن کانتینر Docker باشن که دسترسی محدودی دارن تا وقتی یه workspace مشترک (پیش‌فرض /workspace) mount بشه. یا می‌تونن یه سیستم کامل باشن، مثلاً اجرای مستقیم از shell روی یه DGX Spark که دسترسی واقعی به سخت‌افزار می‌ده. یه node برای کار کردن حتماً GPU نمی‌خواد، اگه مدلش جای دیگه‌ای تو شبکه سرو بشه.

به گفته مقاله، سخت‌افزار خیلی رو نتیجه اثر می‌ذاره و دلیلش بیشتر معماری حافظه‌ست. DGX Station حدود ۲۵۲ گیگ حافظه HBM3e داره با سرعت تقریبی ۷ ترابایت بر ثانیه و جمعاً ۷۴۸ گیگ حافظه یکپارچه. برای همین تو prefill (یعنی پردازش اولیه پرامپت) خیلی جلوتره. ولی یه سیستم با هشت RTX Pro 6000 که با PCIe Gen 5 به هم وصلن، با VRAM جمعی‌ش تونست کل مدل DeepSeek V4.1 با FP8 (حدود ۶۱۴ گیگ) رو جا بده. یه کلاستر GB10 هم روی یه مدل مشابه به حدود ۳۰۷ توکن بر ثانیه رسید.

نویسنده معتقده دلیل اصلی اجرای لوکال، پشتیبانی هم‌زمان از چند کاربر و حفظ حریم کده، نه ارزون‌تر شدن نسبت به API ابری. تو تست چندکاربره حدود ۳,۸۰۰ توکن بر ثانیه کل خروجی گرفتن و Nemotron 3 Super هم به بیشتر از ۲,۰۰۰ توکن بر ثانیه رسید. الگوی پیشنهادی اینه که یه مدل قوی مثل Claude Opus نقش داور یا مدیر رو بازی کنه و هشت ده تا ایجنت لوکال کارهای پرتوکن مثل نوشتن تست رو انجام بدن. به گفته مقاله، برای یه کاربر تنها با یه سیستم، این پیچیدگی احتمالاً لازم نیست.

نکات کلیدی:

• Turnstone کارهای کدنویسی رو بین چند node لوکال (Docker یا سیستم کامل) پخش می‌کنه
• هفت persona پیش‌فرض داره: engineer، executive، manager، orchestrator، researcher، scribe و writer
• برای هر تسک یه manager زیرتسک‌ها رو می‌سازه و یه evaluator نتیجه رو چک می‌کنه
• DGX Station با ۲۵۲ گیگ HBM3e تو prefill از همه سریع‌تره
• هشت RTX Pro 6000 تونستن مدل ۶۱۴ گیگی DeepSeek V4.1 با FP8 رو کامل جا بدن
• الگوی پیشنهادی: Claude Opus به‌عنوان مدیر و مدل‌های لوکال ارزون‌تر به‌عنوان worker