‏GitHub Copilot روی ویندوز حالا مدل لوکال و سندباکس داره

طبق پست مشترک مایکروسافت و GitHub، از آخر این ماه GitHub Copilot خودش تشخیص می‌ده یه کار رو با مدل لوکال روی دستگاه انجام بده یا بفرسته سمت مدل‌های بزرگ کلاد. این ادامهٔ ایدهٔ Project HydraFusion هست، یعنی یه هماهنگ‌کننده که برای هر کار یک یا چند مدل رو با توجه به سرعت، هزینه و کیفیت انتخاب می‌کنه. حالا این انتخاب به خود دستگاه هم کشیده شده.

سخت‌افزار هدف لپ‌تاپ‌های NVIDIA RTX Spark مثل Surface Laptop Ultra هست، با تا 128 گیگ unified memory (یعنی حافظه‌ای که CPU و GPU مشترک ازش استفاده می‌کنن). نویسنده‌ها تأکید می‌کنن همه‌ش برای وزن‌های مدل نیست. سیستم‌عامل و برنامه‌ها هم حافظه می‌خوان، و KV cache (یعنی جایی که مدل وضعیت توکن‌های خونده‌شده رو نگه می‌داره) با بزرگ‌تر شدن کانتکست ایجنت رشد می‌کنه.

مدل لوکال MAI Code 1.1 Flash هست، یه مدل mixture-of-experts با 137 میلیارد پارامتر کل که فقط 6.8 میلیاردش هر بار فعال می‌شه. برای کوچیک کردنش از quantization (یعنی کم کردن دقت عددی وزن‌ها) و speculative decoding (یعنی یه مدل کوچیک‌تر توکن‌ها رو حدس می‌زنه و مدل اصلی تأییدشون می‌کنه) استفاده شده. حجمش 53 گیگه، یعنی 80 درصد کمتر از نسخهٔ Bfloat16 کلاد. اوج مصرف حافظه تو کانتکست 256k حدود 75.5 گیگه.

به گفتهٔ تیم، تو کد یه توکن اشتباه کافیه تا syntax یا tool call خراب بشه، برای همین کیفیت رو با موفقیت در انجام کارهای واقعی سنجیدن، نه فقط حجم. سرعت پردازش پرامپت تو کانتکست 64k و 128k به ترتیب 923.5 و 769.8 توکن در ثانیه گزارش شده. Copilot تو CLI، اپ و VS Code دو حالت می‌ده: Auto که خودش بین لوکال و کلاد مسیریابی می‌کنه، یا انتخاب دستی مدل لوکال از طریق Windows ML یا هر endpoint سازگار با OpenAI.

بخش دوم سندباکسه. دستورهای shell ایجنت معمولاً همهٔ دسترسی‌های کاربر رو به ارث می‌برن و لوکال بودن مدل اینو عوض نمی‌کنه. Copilot از Microsoft Execution Containers یا MXC استفاده می‌کنه، یه کتابخونهٔ اپن‌سورس که سیاست دسترسی رو به کنترل‌های خود سیستم‌عامل تبدیل می‌کنه: روی ویندوز ProcessContainer، روی macOS ابزار Seatbelt و روی لینوکس bubblewrap. دستورهای shell و MCP serverهای لوکال داخل سندباکس اجرا می‌شن، ولی ابزارهای فایل داخلی و MCPهای ریموت فقط با چک خود Copilot کنترل می‌شن.

برای نمونه، تو پست یه automation ساخته شده که هر روز ساعت 9 صبح از روی متادیتای issue و PRهای ریپوی copilot-sdk یه داشبورد HTML می‌سازه، کاملاً آفلاین با مدل لوکال و داخل سندباکس. با دستور /sandbox تو Copilot CLI هم می‌شه هر وقت تنظیمات سندباکس رو عوض کرد. یعنی می‌شه ایجنت رو بی‌دغدغهٔ خراب شدن بقیهٔ سیستم ول کرد که اسکریپت بسازه و اجرا کنه.

نکات کلیدی:

• MAI Code 1.1 Flash: مدل MoE با 137 میلیارد پارامتر کل و 6.8 میلیارد فعال، حجم 53 گیگ
• اوج مصرف حافظه 75.5 گیگ در کانتکست 256k روی Surface Laptop Ultra
• حالت Auto بین مدل لوکال و کلاد خودکار مسیریابی می‌کنه
• سندباکس با MXC: ProcessContainer روی ویندوز، Seatbelt روی macOS، bubblewrap روی لینوکس
• ابزارهای فایل داخلی و MCPهای ریموت ایزولهٔ سیستم‌عاملی ندارن
• تنظیم سندباکس با دستور /sandbox در Copilot CLI