تست کدنویسی Mistral Large 4؛ قوی ولی بدقول
هوش مصنوعیClaude Opus 5.5خلاصهٔ کامل‌تر
Mistral Large 4 که بهش «Le Chonk» هم می‌گن، مدل بزرگ و پرچم‌دار Mistral AI هست که به‌صورت preview منتشر شده. تو این مقاله اومده که مدل از طریق Open Router به Open Code (یه رابط کدنویسی ایجنتی) وصل شده و با هشت پرامپت ثابت به اسم KingBench 3 تست شده. هر تسک ۱۰ امتیاز داشت و نتیجهٔ نهایی ۴۲ از ۸۰ بود، یعنی ۵.۲۵ از ۱۰.
قانون نمره‌دهی سخت‌گیرانه بود: فقط خروجی واقعی حساب می‌شد، نه توضیحی که مدل دربارهٔ کارش می‌داد. برای تسک‌های مرورگری، خروجی واقعاً تو Chromium باز و تست می‌شد. نویسنده می‌گه این مهمه، چون یه ایجنت می‌تونه با اعتمادبه‌نفس بگه کار تمومه، در حالی که فایل خرابه یا اصلاً ساخته نشده.
بهترین نتیجه‌ها مال کارهای بصری و تک‌فایلی بود. شبیه‌سازی سه آسانسور ۹.۵ گرفت و مسافرها درست صف می‌بستن. میز تاشو با Three.js و یه slider برای تا کردن ۸.۵ گرفت. یه SVG از پاندا که برگر دستشه هم ۸ گرفت. پیچیده‌ترین تسک، یعنی fine-tune محلی Gemma 2B با دیتاست حقایق پاندا، ۱۰ کامل گرفت: مدل ۵۱۰ نمونه ساخت، یه adapter با LoRA (روشی برای fine-tune سبک با آموزش فقط یه بخش کوچیک از وزن‌ها) ۴۰۰ قدم آموزش داد و validation loss رو از حدود ۷.۹۷ به ۰.۳۱ رسوند.
دو تا تسک اما صفر شدن. تو تسک جعبهٔ لنز سه‌بعدی، مدل فقط فکر کرد و هیچ فایل HTMLی نساخت. اجرای دوباره با تنظیم «no reasoning» تو Open Code یه خروجی سالم و قابل استفاده داد، ولی نمرهٔ اجرای پیش‌فرض حساب شد. تو مسئلهٔ شمارش هم که جوابش ۲۰۴۶۰ بود، مدل باز بدون جواب نهایی کارو تموم کرد. بازی تیر و کمان هم اجرا شد ولی هدف‌ها چند پیکسل بیشتر نبودن و ۶ گرفت.
ساعت مچی سه‌بعدی شکنندگی کار ایجنتی رو خوب نشون داد. اولش صفحه خالی بود، چون import map به مسیرهایی اشاره می‌کرد که مدل هیچ‌وقت نساخته بود. بعد از اینکه خطای مرورگر دستی بهش داده شد، مسیرها رو درست کرد، ولی باز به‌خاطر مشکلات چیدمان ۶ گرفت. نتیجه‌گیری نویسنده اینه که مشکل توانایی نیست، قابل اعتماد بودنه: گاهی به‌جای پیغام خطا فقط سکوت می‌گیری.
نویسنده تأکید می‌کنه این عدد رتبه‌بندی جهانی نیست، چون فقط یه اجرا با یه تنظیمات بوده. الگوی مهم‌تر اینه که مدل تو کارهای بصری تک‌فایلی با محدودهٔ روشن خوبه، ولی تو کارهایی که زنجیرهٔ استدلال طولانی قبل از خروجی یا هماهنگی بین چند فایل و مسیر import لازم دارن، کم میاره. پس برای کار واقعی بهتره همیشه یه مرورگر و تست دستی دم دستت باشه.
نکات کلیدی:
- امتیاز کل Mistral Large 4 تو KingBench 3: ۴۲ از ۸۰ (۵.۲۵ از ۱۰).
- fine-tune محلی Gemma 2B با LoRA تو ۴۰۰ قدم loss رو از ۷.۹۷ به ۰.۳۱ رسوند و ۱۰ گرفت.
- شبیه‌سازی آسانسور ۹.۵ و میز تاشوی Three.js ۸.۵ گرفتن.
- جعبهٔ لنز سه‌بعدی و مسئلهٔ شمارش با صفر امتیاز و بدون هیچ خروجی تموم شدن.
- ساعت سه‌بعدی به‌خاطر import map اشتباه اول خالی بود و بعد از تعمیر دستی ۶ گرفت.
- تست از طریق Open Code و Open Router انجام شده و فقط یه اجرا بوده.
