‏ویندوز مدل‌های هوش مصنوعی رو لوکال روی لپ‌تاپ اجرا می‌کنه

مایکروسافت تو رویداد ویندوز و Surface سه چیز رو کنار هم گذاشت: سخت‌افزار جدید RTX Spark، یه runtime برای اجرای مدل‌های باز به‌صورت لوکال، و یه لایه routing تو GitHub Copilot که تصمیم می‌گیره هر کار کجا اجرا بشه. تو دمو اصلی، یه ایجنت Copilot روی issueهای ریپازیتوری Windows Terminal کار می‌کرد. یه کار ساده به مدل AI Code Flash روی خود لپ‌تاپ رفت و حتی با حالت پرواز هم ادامه داد.

برای یه کار سخت‌تر، یه مدل ابری از خانواده GPT برنامه‌ریزی رو انجام داد و بعد سه sub-agent لوکال رو فرستاد سراغ خوندن و بررسی issueها. عدد ۱.۶ میلیون توکن از همین‌جا میاد: بیشترش رو مدل‌های لوکال مصرف کردن و فقط حدود ۱۰ هزار توکن برگشت سمت ابر، یعنی نسبتی حدود ۱۵۰ به ۱. مایکروسافت به این می‌گه «hybrid intelligence». این قابلیت از ۱۵ اکتبر تو اپ GitHub Copilot میاد. به گفته نویسنده، معلوم نیست اگه مدل لوکال از پس کار برنیاد، router خودش کار رو به ابر می‌سپره یا کاربر فقط جواب بدتری می‌گیره.

سه مدل لوکال نشون داده شد که همه‌شون به‌شدت quantize شدن (یعنی وزن‌هاشون با بیت کمتری ذخیره شده تا حافظه کمتری بگیرن). AI Code 1.1 Flash با ۳ بیت و context window ۲۵۶ هزار توکنی، حدود ۸۰ درصد کوچیک‌تر از نسخه اصلی. یه مدل بر پایه Nemotron با ۲ بیت در حدود ۲۰ گیگ حافظه. و یه نسخه از DeepSeek V3.1 با میانگین ۱.۶ بیت در حدود ۶۰ گیگ.

اون ۱.۶ بیت میانگینه: لایه‌های مهم با دقت بالاتر می‌مونن و لایه‌های کم‌استفاده خیلی فشرده‌تر می‌شن. نویسنده چند تا سؤال جدی مطرح می‌کنه: کیفیت کدنویسی در مقایسه با نسخه دقیق‌تر چقدر افت می‌کنه، تو context طولانی چی می‌شه، و آیا tool callها درست می‌مونن؟ چون خروجی ساختاریافته معمولاً اولین چیزیه که با quantization شدید خراب می‌شه. KV cache (یعنی حافظه‌ای که مدل برای نگه داشتن context لازم داره) تو ۲۵۶ هزار توکن هم کلی حافظه اضافه می‌خواد.

نویسنده مهم‌ترین تغییر رو اضافه شدن llama.cpp به Windows ML (runtime مایکروسافت برای اجرای مدل روی GPU و NPU و CPU) می‌دونه. یعنی هر مدل باز جدیدی که نسخه GGUFش منتشر بشه، بدون منتظر موندن برای مایکروسافت روی ویندوز اجرا می‌شه. برای امنیت هم Microsoft Execution Containers (MXC) اومده که یه sandbox برای ایجنت‌هاست. سازمان‌ها براش policy تعریف می‌کنن و هر کاری که ایجنت انجام بده به اسم خود ایجنت ثبت می‌شه، نه کاربر.

سخت‌افزار RTX Spark تا ۱۲۸ گیگ حافظه یکپارچه و پشتیبانی کامل CUDA روی ویندوز داره، بدون نیاز به لینوکس. طبق گزارش‌های مستقل، قدرت GPUش نزدیک RTX 5070 هست با ۲۰ هسته CPU و مصرف ۸۰ وات. قیمت از حدود ۲۶۰۰ دلار شروع می‌شه و به گفته نویسنده احتمالاً با گرون شدن حافظه بالاتر هم می‌ره.

نکات کلیدی:

• حالت auto در GitHub Copilot از ۱۵ اکتبر بین مدل‌های لوکال و ابری انتخاب می‌کنه.
• تو دمو، ۱.۶ میلیون توکن لوکال پردازش شد و فقط حدود ۱۰ هزار توکن به ابر رفت.
• AI Code 1.1 Flash با ۳ بیت و context ۲۵۶K حدود ۸۰ درصد کوچیک‌تر شده.
• DeepSeek V3.1 با میانگین ۱.۶ بیت تو حدود ۶۰ گیگ حافظه اجرا شد.
• Windows ML حالا llama.cpp و مدل‌های GGUF رو مستقیم پشتیبانی می‌کنه.
• MXC هر کار ایجنت رو به اسم خودش ثبت می‌کنه، نه کاربر لاگین‌شده.
• قیمت RTX Spark از حدود ۲۶۰۰ دلار شروع می‌شه و تا ۱۲۸ گیگ حافظه داره.