تست عملی Mistral Large 4: از پیدا کردن باگ امنیتی تا خوندن چت واتساپ
هوش مصنوعیخلاصهٔ کامل‌تر
Mistral Large 4 که اسم خودمونیش «Le Chonk» هست، مدل پرچم‌دار جدید Mistral AIـه. یه مدل mixture-of-experts با حدود یک تریلیون پارامتر کل که برای هر توکن فقط حدود ۵۰ میلیاردش فعال میشه. الان به‌صورت public preview از طریق API و Le Chat (چت‌بات عمومی Mistral) در دسترسه و وزن‌های باز قراره تا آخر ماه بیاد. این مقاله بیشتر روی تست‌های عملی تمرکز داره تا اعداد بنچمارک.
توی بنچمارک‌ها، مدل توی رفع باگ‌های واقعی کد (شبیه SWE-bench) از بیشتر مدل‌های باز بهتر بوده و فقط Kimi K3 ازش جلوتره. توی شاخص امنیت سایبری با GLM 5.3 Flash مشترکاً اول شده و توی بنچمارک مالی کمی از GPT-6 Astra جلوتره. ولی توی تسک‌های ترمینالی و workflowهای کاری بین چند اپ (ایمیل، اسپردشیت، Slack)، GLM 5.3 جلوتره.
جالب‌ترین تست امنیتی بود. یه اپ Flask با SQLite و چند کاربر ساختن و عمداً یه باگ IDOR توش گذاشتن (یعنی کاربر لاگین‌شده بتونه با عوض کردن ID، فاکتور یه کاربر دیگه رو ببینه). مدل سریع پیداش کرد و ریشه‌ش رو درست گفت: endpoint حذف مالکیت رو چک می‌کرد، ولی endpoint گرفتن نه. بعدش ذخیرهٔ رمزها به‌صورت plaintext، یه session secret هاردکدشده و یه فایل کوکی کامیت‌شده با توکن زنده رو هم پیدا کرد و fix پیشنهاد داد. نویسنده می‌گه این نشون می‌ده مدل واقعاً به درد code review امنیتی می‌خوره.
توی استدلال تصویری هم خوب بود. یه پازل برق‌گرفتگی با چهار نفر که سیم‌های hot و neutral رو گرفتن رو درست حل کرد، حتی حالت تله‌ای که یه نفر هر دو سیم رو همزمان گرفته و عایق زیر پاش نجاتش نمی‌ده. توی یه اسکرین‌شات واتساپ که timestampها با متن جور نبود، اصطلاحات محیط کار رو فهمید و توضیح داد چطور همسر یه نفر یه پیام کاری رو عاشقانه برداشت کرده. ساخت یه صحنهٔ کباب‌پز چرخان با HTML/CSS از روی عکس هم قانع‌کننده بود، فقط آتیشش ضعیف‌تر از عکس دراومد.
ضعف اصلی ترجمه‌ست. تیتر یه روزنامهٔ تامیلی رو به حدود ۷۵ زبان ترجمه کرد. ماندارین، عربی، ژاپنی و تایلندی تمیز بود، ولی زبان‌های کم‌منبع مثل گجراتی افت کردن. جمع‌بندی نویسنده اینه که برای کد و امنیت جزو بهترین گزینه‌های open-weight هست. ولی اگه می‌خواید self-host کنید، صبر کنید تا وزن‌ها منتشر بشه.
نکات کلیدی:
- حدود ۱ تریلیون پارامتر کل و حدود ۵۰ میلیارد پارامتر فعال، در دسترس از طریق API و Le Chat
- توی شاخص امنیت سایبری با GLM 5.3 Flash مشترکاً اوله
- باگ IDOR کاشته‌شده توی اپ Flask رو با ریشه‌ش درست پیدا کرد
- رمزهای plaintext و session secret هاردکدشده رو هم خودش کشف کرد
- توی تسک‌های ترمینالی و workflowهای چنداپلیکیشنی از GLM 5.3 عقب‌تره
- ترجمه به زبان‌های کم‌منبع مثل گجراتی ضعیفه
