Decision-1 مایکروسافت: مدلی فقط برای تصمیم‌های سریع
هوش مصنوعیخلاصهٔ کامل‌تر
مایکروسافت یه مدل به اسم Decision-1 معرفی کرده که کارش فقط تصمیم‌گیری سریعه، نه چت و نه نوشتن متن طولانی. مثلاً اینکه یه تیکت پشتیبانی به کدوم تیم بره، نیت یه پیام چیه، به یه نفر دسترسی بدیم یا نه، یا نقش guardrail رو بازی کنه (یعنی یه لایهٔ محافظ که جلوی ورودی‌های خطرناک رو قبل از رسیدن به agent می‌گیره). این مدل لوکال نیست و فقط از طریق API ابری در دسترسه.
قیمتش ۴.۲ سنت برای هر یک میلیون توکن ورودیه و توکن خروجی کلاً رایگانه. به گفتهٔ مقاله، این قیمت از خود بنچمارک‌ها مهم‌تره، چون چک‌های مسیریابی و امنیتی معمولاً روی تک‌تک درخواست‌های یه agent اجرا می‌شن، گاهی هزاران بار در ساعت. یعنی به جای اینکه هر تصمیم کوچیک رو بفرستی سمت یه مدل frontier گرون و کند، می‌تونی این کارای تکراری رو به یه مدل ارزون و سریع بسپری.
تو بنچمارک داخلی مایکروسافت با ۱۴۷ هزار سؤال، Decision-1 به دقت ۸۳.۵ درصد رسیده و کمی جلوتر از رقیبی به اسم Jev با ۸۲.۳ درصده. میانهٔ تأخیرش هم ۸۵ میلی‌ثانیه بوده، در حالی که GPT-6 تو همین مقایسه حدود ۳ ثانیه طول کشیده. نویسنده تأکید می‌کنه فاصله با Jev اونقدر کمه که نمی‌شه Decision-1 رو برندهٔ قطعی دونست.
نقطه ضعفش calibration هست، یعنی اینکه درصد اطمینانی که مدل اعلام می‌کنه چقدر با درست بودن واقعیش جور درمیاد. اینجا Jev با ۹۳.۷ درصد اوله و Decision-1 با ۹۲.۲ درصد سوم شده. نویسنده می‌گه اگه تیمی قانونی مثل «هر چی بالای ۹۵ درصد اطمینان بود خودکار تأیید شه» بذاره، همین تفاوت کوچیک می‌تونه باعث شه قانون تو موارد مرزی بی‌صدا خراب شه.
تو تست‌های مستقل، نتیجه‌ها بیشتر مثبت بوده. یه درخواست دسترسی اضطراری به دیتابیس production با تأیید جعلی مدیر و ددلاین ساختگی رو با ۹۱.۵ درصد اطمینان مهندسی اجتماعی تشخیص داده و پیشنهاد ارجاع به تیم امنیت داده. یه دستور حذف بک‌آپ که تو دل یه درخواست پاک کردن پوشهٔ temp قایم شده بود رو با ۹۹.۹ درصد گرفته. یه دستور جعلی سیستمی هم که تو یه نظر کاربر جاسازی شده بود رو با ۹۸.۹ درصد تشخیص داده و اجراش نکرده. یه کامنت کنایه‌آمیز رو هم با ۹۸.۵ درصد درست شکایت تشخیص داده.
ولی تو مسیریابی بر اساس کلمه کلیدی کم آورده. یه پیام که کلمهٔ invoice توش بود ولی در اصل درخواست ریست پسورد بود رو با فقط ۵۰.۶ درصد اطمینان فرستاده سمت تیم billing. نویسنده توصیه می‌کنه هر تیمی که می‌خواد ازش برای مسیریابی یا کنترل دسترسی استفاده کنه، اول روی موارد مرزی خودش تستش کنه و فقط به میانگین بنچمارک‌ها اعتماد نکنه.
نکات کلیدی:
- قیمت: ۴.۲ سنت برای هر یک میلیون توکن ورودی، توکن خروجی رایگان
- دقت ۸۳.۵ درصد در برابر ۸۲.۳ درصد Jev روی ۱۴۷ هزار سؤال
- میانهٔ تأخیر ۸۵ میلی‌ثانیه در برابر حدود ۳ ثانیه برای GPT-6
- calibration با ۹۲.۲ درصد سوم شده، پشت Jev با ۹۳.۷ درصد
- تو Microsoft Discovery جای یه grader مبتنی بر LLM رو گرفته و ۴۶ برابر یکدست‌تر و نزدیک ۴ برابر سریع‌تر بوده
- مدل ابریه و نسخهٔ لوکال نداره
