‏Step 5 Preview در تست کدنویسی: ۸۳.۷۵ درصد از Kingbench

Stepfun مدل پرچم‌دار جدیدش یعنی Step 5 Preview رو معرفی کرده. این مدل از نوع MoE (یعنی مدلی که برای هر توکن فقط یه بخشی از شبکه‌ش فعال می‌شه) هست و ۶۰۰ میلیارد پارامتر کل داره که ۲۷ میلیاردش برای هر توکن فعاله. کانتکستش یک میلیون توکنه، تا ۶۴ هزار توکن خروجی می‌ده و ورودی متن، تصویر و ویدیو قبول می‌کنه. فعلاً فقط از طریق API خود Stepfun در دسترسه و وزن‌هاش قراره ۱۵ اکتبر منتشر بشه.

تو این مقاله اومده که مدل با Kingbench تست شده. Kingbench یه مجموعه هشت‌تایی از تسک‌های کدنویسیه که داخل Open Code اجرا می‌شه. Open Code یه محیط ایجنتیه که مدل توش خودش فایل می‌سازه، دستور اجرا می‌کنه و خروجیش رو چک می‌کنه. هر تسک با یه سشن تازه، reasoning بالا و سقف ۶۴ هزار توکن خروجی اجرا شده. نکته مهم اینه که امتیاز مدل‌های GLM و MIMO از نتایج قدیمی‌تر Kingbench اومده، نه از یه اجرای هم‌زمان. پس این یه مقایسه رو یه مقیاس مشترکه، نه یه رقابت کنترل‌شده.

بهترین نتیجه‌ها مال دو تا تسک بود که هر دو ۹.۵ از ۱۰ گرفتن. اولی یه بازی تیراندازی با کمان بود با باد، هدف‌های متحرک، تایمر و یه leaderboard که درست مرتب می‌کرد و موقع replay ریست می‌شد. دومی یه pipeline کامل fine-tune لوکال بود. مدل خودش یه دیتاست درباره پاندا ساخت، با LoRA (یعنی روشی که فقط یه لایه کوچیک اضافه رو آموزش می‌ده نه کل مدل) و از طریق MLX مدل Gemma 2B Instruct رو آموزش داد. بعد adapter رو fuse کرد و یه وب‌اپ لوکال ساخت که با هر رفرش یه fact جدید نشون می‌داد. فقط به‌خاطر اشتباهات واقعی تو دیتای آموزشی نیم امتیاز کم شد.

بقیه تسک‌ها متوسط‌تر بودن. شبیه‌ساز آسانسور، جعبه لنز سه‌بعدی با Three.js، میز تاشو و یه SVG از پاندایی که برگر می‌خوره هر کدوم ۸ از ۱۰ گرفتن. هر کدوم یه باگ کوچیک داشتن، مثلاً میز برعکس جهتی که خواسته شده بود تا می‌شد. مسئله شمارشی رو درست جواب داد (۲۰,۴۶۰) و ۱۰ گرفت. ضعیف‌ترین کار یه ساعت مچی سه‌بعدی بود که کار می‌کرد ولی چیز خاصی نبود و ۶ گرفت.

تو جدول نهایی Step 5 Preview با ۸۳.۷۵ درصد بین GLM 5.3 Flash (۷۸.۷۵) و GLM 5.3 (۹۱.۲۵) قرار گرفت و از MIMO v2.6 Pro (۶۹.۳۸) و MIMO v2.6 Flash (۷۲.۵۰) جلوتر بود. نویسنده می‌گه این نتایج نشون می‌ده مدل تو کارهای ایجنتی و تعاملی واقعاً قویه، نه فقط تو تولید کد ساده. قیمت API هم برای مدلی با این اندازه رقابتیه: یک دلار برای هر میلیون توکن ورودی بدون کش و ۲.۷ دلار برای خروجی. توکن‌های reasoning هم جزو خروجی حساب می‌شن.

نکات کلیدی:

• Step 5 Preview یه مدل MoE با ۶۰۰ میلیارد پارامتر کل و ۲۷ میلیارد پارامتر فعال برای هر توکنه
• کانتکست یک میلیون توکن و سقف خروجی ۶۴ هزار توکن داره
• تو Kingbench امتیاز ۶۷ از ۸۰ یعنی ۸۳.۷۵ درصد گرفت
• GLM 5.3 با ۹۱.۲۵ درصد هنوز تو این جدول اوله
• قیمت: ۱ دلار ورودی بدون کش، ۵ دلار ورودی کش‌شده و ۲.۷ دلار خروجی برای هر میلیون توکن
• وزن‌های مدل قراره ۱۵ اکتبر منتشر بشه