‏هوش ترکیبی مایکروسافت: Copilot روی لپ‌تاپ خودت

مایکروسافت تو رویداد Windows و Surface تو سان‌فرانسیسکو سیستمی به اسم hybrid intelligence نشون داد. این سیستم تو ویندوز و GitHub Copilot خودش تصمیم می‌گیره یه کار کدنویسی روی سیستم خودت اجرا بشه یا به یه مدل ابری فرستاده بشه. سه بخش داره: یه router (یعنی بخشی که مدل مناسب هر کار رو انتخاب می‌کنه)، مدل‌های محلی کوچیک و سخت‌افزار تازه‌ای بر پایهٔ چیپ RTX Spark انویدیا.

تو دمو، انتخابگر مدل Copilot روی حالت «auto» بود. برای یه کار ساده روی کد Windows Terminal، کار به مدل کدنویسی محلی مایکروسافت رسید و حتی با روشن کردن حالت هواپیما هم ادامه پیدا کرد. برای کار سخت‌تر، یعنی بررسی یه سری issue تو GitHub، یه مدل ابری از خانوادهٔ GPT برنامه‌ریزی رو انجام داد و چند sub-agent محلی خوندن و بررسی رو پیش بردن. نتیجه: حدود ۱.۶ میلیون توکن محلی و فقط ۱۰ هزار توکن ابری، یعنی نسبت ۱۵۰ به ۱. صرفه‌جویی از همین‌جا میاد، چون ایجنت‌ها خیلی بیشتر از نوشتن، فایل و لاگ می‌خونن.

سه مدل برای اجرای محلی معرفی شد. Microsoft AI code 1.1 flash با quantization (یعنی کم کردن دقت عددی وزن‌های مدل برای کوچیک‌تر شدنش) به ۳ بیت رسیده، حدود ۸۰٪ کوچیک‌تر شده و context window ۲۵۶ هزار توکنی داره. یه مدل Neotron هم با ۲ بیت تو حدود ۲۰ گیگابایت حافظه اجرا می‌شه. یه نسخه از DeepSeek هم با میانگین ۱.۶ بیت تو حدود ۶۰ گیگابایت اجرا شده و مایکروسافت ادعا کرده تو بنچمارک‌ها بهتر عمل می‌کنه، بدون اینکه بگه کدوم بنچمارک.

نویسنده می‌گه این عددها خیلی تهاجمی‌ان و کیفیت، به‌خصوص برای کدنویسی، باید تو تست‌های مستقل بررسی بشه. سه چیز رو باید زیر نظر داشت: نرخ موفقیت کدنویسی، کیفیت تو contextهای طولانی و سالم موندن tool callها. به گفتهٔ نویسنده، خروجی ساختاریافته معمولاً اولین چیزیه که با quantization شدید خراب می‌شه. یه سؤال مهم دیگه هم بی‌جواب موند: اگه مدل محلی از پس کار برنیاد، سیستم خودش می‌فهمه و کار رو به ابر می‌سپره؟ مایکروسافت این حالت رو نشون نداد.

Windows ML، یعنی runtime مایکروسافت برای اجرای مدل روی CPU و GPU و NPU، حالا از Llama.cpp پشتیبانی می‌کنه. یعنی هر مدل بازی که نسخهٔ GGUF داره، حتی نسخه‌های fine-tune شده، بدون انتظار برای مایکروسافت روی ویندوز اجرا می‌شه. هنوز معلوم نیست router خود Copilot هم می‌تونه این مدل‌ها رو انتخاب کنه یا نه. برای امنیت هم لایه‌ای به اسم MXC (Microsoft execution containers) اومده که سازمان‌ها باهاش تعیین می‌کنن ایجنت به چی دسترسی داره و هر کار ایجنت به هویت خودش ثبت می‌شه، نه به اسم کاربر.

سخت‌افزار RTX Spark تا ۱۲۸ گیگابایت حافظهٔ یکپارچه داره و CUDA رو مستقیم روی ویندوز اجرا می‌کنه. پوشش‌های مستقل GPUش رو حدود RTX 5070 دونستن، با حدود ۲۰ هستهٔ CPU و مصرف زیر ۸۰ وات. قیمتش از حدود ۲۶۰۰ دلار شروع می‌شه. نویسنده معتقده برای کسایی که هزینهٔ API ابری‌شون زیاده می‌تونه به‌صرفه باشه، ولی برای کاربر معمولی گرونه.

نکات کلیدی:

• تو دمو حدود ۱.۶ میلیون توکن محلی و ۱۰ هزار توکن ابری پردازش شد.
• عرضه تو اپ GitHub Copilot از ۱۵ اکتبر شروع می‌شه.
• مدل Microsoft AI code 1.1 flash با ۳ بیت و context window ۲۵۶ هزار توکنی روی دستگاه اجرا می‌شه.
• Windows ML حالا از Llama.cpp و مدل‌های GGUF پشتیبانی می‌کنه.
• MXC کارهای ایجنت رو با هویت خود ایجنت ثبت و محدود می‌کنه.
• سخت‌افزار RTX Spark از حدود ۲۶۰۰ دلار شروع می‌شه و تا ۱۲۸ گیگابایت حافظه داره.