‏مدل‌های اپن‌ویت در کدنویسی: تو کار کوتاه برنده، تو کار طولانی بازنده

این مقاله یه تقسیم‌بندی ساده مطرح می‌کنه: مدل‌های open-weight (یعنی مدل‌هایی که وزن‌هاشون عمومی منتشر شده و می‌شه خودت اجراشون کنی) تو تسک‌های کوتاه کدنویسی برنده‌ان و تو تسک‌های طولانی بازنده. به گفتهٔ نویسنده، برای کارهای محدود و مشخص مثل رفع یه باگ یا یه تغییر کوچیک، مدلی مثل Kimi K3.1 Pro تقریباً به خوبی مدل‌های بسته کار می‌کنه و گاهی یک‌چهارم هزینه داره.

مشکل از جایی شروع می‌شه که کار agentic و طولانی بشه، یعنی مدل خودش باید چند ساعت پشت سر هم برنامه بریزه، کد بزنه، بررسی کنه و اشتباهاتش رو درست کنه. تو این آزمایش یه بازی کوچیک به اسم Northstar تو ۱۲ تیکت با سه چیدمان ساخته شد: Claude Opus 5.5 برای برنامه‌ریزی و بازبینی با Sonnet 5.5 به‌عنوان مدل اجرایی، GPT6 Astra با GPT 6.1 Sol، و Kimi K3.1 Pro که کل فرایند رو خودش انجام داد. همه از یه harness یکسان استفاده کردن، یعنی همون قوانین، همون مراحل و همون فایل‌های اولیه.

نتیجه‌ها: Claude هر ۱۲ تیکت رو تو حدود ۱۴ ساعت تموم کرد، یعنی تقریباً یه ساعت برای هر چرخه، و بازی‌ش حلقهٔ مبارزه و فیزیک درستی داشت. GPT یازده تیکت رو تو حدود ۲۸ ساعت تموم کرد و خروجی‌ش زمخت‌تر بود ولی کار می‌کرد. Kimi تو ۴۴ ساعت فقط ۵ تیکت رو بست و چند بار ساعت‌ها گیر کرد. قابلیتی مثل فروشگاه ارتقا که دو تای دیگه ساخته بودن، تو نسخهٔ Kimi اصلاً ساخته نشد.

نویسنده می‌گه مشکل Kimi کیفیت کد نبود، بلکه رعایت نکردن قوانین ثابت پروژه بود؛ حتی چیز ساده‌ای مثل «به این فایل فقط‌خواندنی دست نزن». هر تخلف یه رد شدن تو بازبینی و یه دور تکرار دیگه به همراه داشت. تو ده‌ها میلیون توکن تست، این الگو اون‌قدر تکرار شد که با وجود قیمت خیلی پایین‌تر هر توکن، هزینهٔ کل Kimi از Claude بیشتر شد.

انتخاب بنچمارک هم خیلی مهمه. Kimi K3.1 Pro Max تو Terminal Bench 4.0 کمی از Claude Opus 5.5 و GPT6 Astra بهتره، چون این بنچمارک مسئله‌های سخت ولی محدود رو می‌سنجه. ولی تو بنچمارک‌های بلندمدت مثل Terminal Bench Science و Frontier Code 2.0 فاصله زیاد می‌شه. یه مطالعه GPT 5.6 Sol رو روی ۴۱.۶ درصد و Kimi K3 رو روی ۲۲.۱ درصد نشون داده؛ یعنی حتی مدل‌های بسته هم هنوز این مسئله رو حل نکردن، فقط کمتر افت می‌کنن.

توصیهٔ مقاله اینه که تیم‌ها مدل رو بر اساس طول و پیچیدگی کار انتخاب کنن: کارهای کوتاه و تکراری با مدل‌های اپن‌ویت، و ساخت‌های طولانی و حساس با مدل‌های بسته. به گفتهٔ تحلیلگرها، تو دو تا پنج سال آینده مدل‌های اپن‌ویت می‌تونن حدود ۹۰ درصد مراحل workflowهای agentic سازمانی رو انجام بدن، البته بیشتر مراحل کوتاه و تکراری.

نکات کلیدی:

• Claude: ۱۲ از ۱۲ تیکت در حدود ۱۴ ساعت؛ GPT: ۱۱ از ۱۲ در حدود ۲۸ ساعت؛ Kimi K3.1 Pro: ۵ از ۱۲ در ۴۴ ساعت.
• Kimi به‌خاطر رعایت نکردن قوانین پروژه و دوباره‌کاری، در عمل از Claude گرون‌تر تموم شد.
• Kimi K3.1 Pro Max تو Terminal Bench 4.0 کمی جلوتره، ولی تو Terminal Bench Science و Frontier Code 2.0 عقب می‌مونه.
• تو یه بنچمارک بلندمدت، GPT 5.6 Sol به ۴۱.۶ درصد و Kimi K3 به ۲۲.۱ درصد رسیدن.
• پیش‌بینی می‌شه مدل‌های اپن‌ویت تو ۲ تا ۵ سال حدود ۹۰ درصد مراحل کوتاه workflowهای سازمانی رو بگیرن.