‏Clover 35B تو تست واقعی: نمودارها یه چیز می‌گن، خروجی یه چیز دیگه

Clover 35B-A3B یه مدل زبانی دیفیوژنیه (یعنی به‌جای پیش‌بینی توکن بعدی، یه بلوک کامل متن رو یه‌جا پر می‌کنه) که روی معماری mixture-of-experts مدل 35 میلیارد پارامتری Qwen ساخته شده. هر لحظه فقط حدود 3 میلیارد پارامترش فعاله و context window اش 128k توکنه. سازنده‌هاش اونو بهترین مدل دیفیوژنی اپن‌سورس معرفی کردن. نویسندهٔ مقاله رفته ببینه این ادعا تو استفادهٔ واقعی هم سر پا می‌مونه یا نه.

نمودارهای رسمی می‌گن Clover تو هر شش بنچمارک agentic از رقیب‌هایی مثل LLaDA، Dream و Mercury جلوتره و بیشترین فاصله رو تو کارهای ترمینال و SWE-bench داره. حتی ادعا شده تو دانش عمومی، پازل منطقی، پیروی از دستور، context بلند و tool use با خود Qwen برابره یا بهتره و فقط تو سخت‌ترین سوال‌های ریاضی و امتحانی عقب می‌مونه.

فرق اصلیش با Qwen اینه که Qwen autoregressive هست، یعنی هر توکن رو با دیدن همهٔ توکن‌های قبلی می‌سازه. Clover پارامترهای یادگرفته‌شدهٔ جدیدی اضافه کرده که توکن‌های داخل یه بلوک بتونن به هم نگاه کنن. مزیتش سرعت و موازی‌کاریه. ولی به گفتهٔ نویسنده، هزینه‌ش انسجام و کنترله، چون مدل باید چندتا توکن رو با اطمینان کمتر یه‌جا قطعی کنه. همین می‌تونه خروجی تکراری یا به‌هم‌ریخته بده.

تو تست دیباگ، از Clover خواستن باگ یه اپ رستوران روی Docker رو درست کنه. داشبورد درصد هزینهٔ غذا رو اشتباه نشون می‌داد و موجودی، گوشت مصرف‌شده رو بیشتر از گوشت خریداری‌شده نشون می‌داد. مدل گفت کار تمومه، ولی بعد از ریلود عددها هیچ فرقی نکرده بودن. نویسنده می‌گه مشکل اصلی بنچمارک‌های agentic که خودِ سازنده گزارش می‌ده همینه: مدل می‌تونه تو نمودار کار رو تموم‌شده نشون بده، ولی وقتی آدم چک می‌کنه، هیچی عوض نشده.

تو کدنویسی، یه انیمیشن canvas تو یه فایل HTML ساخت که کار می‌کرد، ولی خشک و ناشیانه بود. چندزبانگی بدترین بخش بود: از 82 زبان خواسته‌شده حدود 34 تا رو اصلاً نیاورد، برای زبان‌های مختلف اسم تکراری داد و تو خروجی روسی حروف چینی قاطی کرد. پازل منطقی Zebra هم، که نمودارها اونو نقطه‌قوت مدل حساب می‌کنن، بعد از بیشتر از 50 دقیقه فکر کردن و دور خود چرخیدن، فقط نصفه درست جواب داده شد.

موقع اجرای لوکال با یه اسکریپت transformers سفارشی، مصرف VRAM زیر 68 گیگ بود، یعنی به سخت‌افزار ورک‌استیشن جدی یا چند GPU نیاز داره. جمع‌بندی نویسنده اینه که Clover یه آزمایش فنی جالبه، ولی برای کارهایی که دقت و چندزبانگی مهمه، فعلاً مدل‌های autoregressive خود Qwen گزینهٔ مطمئن‌تری هستن.

نکات کلیدی:

• Clover روی Qwen با 35B پارامتر کل و حدود 3B پارامتر فعال ساخته شده و context اش 128k توکنه.
• تو تست دیباگ اپ رستوران، مدل گفت باگ رو حل کرده ولی عددها بعد از ریلود عوض نشده بودن.
• تو تست نام‌گذاری 82 زبانه، حدود 34 زبان جا افتاد و تو خروجی روسی حروف چینی قاطی شد.
• پازل Zebra بعد از بیشتر از 50 دقیقه فقط نصفه درست حل شد.
• اجرای لوکال زیر 68 گیگ VRAM مصرف کرد.
• کد آموزش مدل هنوز عمومی منتشر نشده.