‏مدل‌های متن‌باز چقدر از فرونتیر بسته عقب‌ان؟

مدل‌های متن‌باز (که می‌شه وزن‌هاشون رو دانلود کرد) معمولاً به‌اندازه‌ی بهترین مدل‌های بسته (که فقط از طریق API در دسترسن) توانمند نیستن، اما این فاصله چقدره و چطور تغییر می‌کنه؟ نویسنده با داده‌ی ۱۷ بنچمارک منتخب (۸ خصوصی و ۹ عمومی، حدود ۱۱۰ نقطه‌داده) به این سؤال جواب می‌ده.

یافته: امروز روی بنچمارک‌های خصوصی (که داده‌شون عمومی نیست) مدل‌های باز حدود ۸ تا ۱۰ ماه عقب‌ان، و روی بنچمارک‌های عمومی حدود ۴ تا ۶ ماه. این فاصله حوالی زمان DeepSeek R1 (ژانویه ۲۰۲۵) کمترین بود و از آن زمان در حال رشده. این عددها رو به عقب نگاه می‌کنن: بهترین مدل‌های باز امروز تقریباً هم‌سطح بهترین مدل‌های بسته‌ی ۸ تا ۱۰ ماه پیش‌ان.