مدلهای open-weight تو کدنویسی به مدلهای بسته رسیدن
هوش مصنوعیClaude Opus 5خلاصهٔ کاملتر
تو این مقاله اومده که فاصلهٔ مدلهای open-weight (یعنی مدلهایی که وزنهاشون عمومی منتشر شده و خودت میتونی اجراشون کنی) با مدلهای بستهٔ تجاری تو کدنویسی تقریباً بسته شده. روی لیدربورد King Bench بهترین مدل بسته ۸۲.۵٪ گرفته، یه مدل باز با ۸۱.۲۵٪ درست پشت سرشه و از یه مدل بستهٔ ردهٔ بالای دیگه با ۸۰٪ هم جلو زده. چندتا مدل باز دیگه هم تو محدودهٔ ۷۰ به بالا جمع شدن.
نویسنده میگه مهمتر از خود عددها شیب تغییره: یکی دو سال پیش مدلهای باز تو بنچمارکهای جدی کد ۱۰ تا ۲۰ واحد عقب بودن و حالا این اختلاف تکرقمی شده. حتی روی سختترین سؤال همین مجموعه، یه تسک رندر سهبعدی از ساعت مچی، یه مدل باز رکورد رو گرفته و از چند مدل بستهٔ ردهٔ بالا جلو زده.
نکتهٔ دوم مقاله اینه که تو کار agentic (یعنی وقتی مدل خودش تو یه تسک طولانی کدبیس رو میخونه، نقشه میریزه و چند فایل رو عوض میکنه) این فاصله گاهی به صفر میرسه. اونجا تعیینکننده دقت تکمرحلهای نیست، اینه که مدل هدف تسک رو گم نکنه، وسط کار جا نزنه و بعد از خطا خودشو جمع کنه. یعنی یه مدل با نمرهٔ کمی پایینتر میتونه عملاً بهتر جواب بده.
الگویی که داره جا میافته تقسیم کار بین دو مدله: یه مدل قویتر نقشه میریزه و میگه کدوم فایلها عوض میشن و نتیجه چطور تست میشه، بعد یه مدل سبکتر و سریعتر همون نقشه رو پیاده میکنه. پلن سهم کمی از توکنها رو میخوره ولی پرریسکترین بخشه، و پیادهسازی که بیشترین مصرف رو داره میره روی مدل ارزون. بعضی ابزارها هم plan mode و act mode رو جدا کردن که هرکدوم مدل خودشو داشته باشه.
معماری mixture-of-experts (یعنی برای هر درخواست فقط بخشی از پارامترهای مدل فعال میشن) باعث شده بعضی مدلهای باز سریع و ارزون اجرا بشن بدون اینکه تو کار agentic ضعیف بشن. جمعبندی نویسنده اینه که برای کار روزمره صرفهٔ مدلهای باز خیلی بیشتره، ولی برای کارهای واقعاً سخت مثل الگوریتم نو یا کد امنیتی، مدلهای بستهٔ ردهٔ بالا هنوز یه برتری کوچیک ولی واقعی دارن.
نکات کلیدی:
- تو لیدربورد King Bench بهترین مدل بسته ۸۲.۵٪، بهترین مدل باز ۸۱.۲۵٪ و مدل بستهٔ بعدی ۸۰٪ گرفتن.
- رکورد سختترین تست این بنچمارک، یه تسک رندر سهبعدی ساعت مچی، دست یه مدل بازه.
- اشتراک مدلهای بستهٔ ردهٔ بالا ماهی ۱۰۰ تا ۲۰۰ دلاره، ولی مدلهای باز رفتن تو پلنهای خیلی ارزونتر.
- تو بعضی ابزارها plan mode و act mode هرکدوم مدل جدا میگیرن.
- mixture-of-experts فقط کسری از پارامترها رو فعال میکنه، برای همین سریعتر و ارزونتر درمیاد.
