‏راه‌اندازی لوکال Clover 35B: سخت‌افزار، نصب و تنظیمات

Clover-35B-A3B-Preview اولین مدلیه که DiffuSpace منتشر کرده و یه مدل زبانی دیفیوژنیه، یعنی به‌جای کلمه‌به‌کلمه، هر بار یه بلوک کامل متن رو پر می‌کنه. روی Qwen3.6-35B-A3B ساخته شده و ستون mixture-of-experts اونو نگه داشته: 40 لایه، 256 expert با routing از نوع top-8 و یه shared expert تو هر لایه. 35 میلیارد پارامتر کل داره، حدود 3 میلیارد فعال برای هر توکن، و context اش 128K توکنه.

هر بلوک اول کاملاً mask شده‌ست و مدل جاهایی رو که بیشتر بهشون مطمئنه موازی پر می‌کنه. پیش‌فرض‌ها block_size=32 و threshold=0.95 هستن، ولی موقع تولید قابل تغییرن. آستانهٔ بالاتر رفتار محتاط‌تری می‌ده و آستانهٔ پایین‌تر دقت رو فدای سرعت می‌کنه. اگه هیچ جایی از آستانه رد نشه، باز هم مطمئن‌ترین توکن پر می‌شه که تولید جلو بره.

فقط وزن‌های BF16 حدود 69 گیگ حافظهٔ GPU می‌خوان و یه تستر مصرف واقعی رو زیر 68 گیگ گزارش کرده. یعنی کارت‌های خونگی 24 یا 48 گیگی کافی نیستن و یه A100 یا H100 هشتاد گیگی، چند GPU با device_map یا یه سرور ابری لازمه. برای پرامپت‌ها و خروجی‌های بلند هم باید حافظهٔ اضافه در نظر بگیری، چون درخواست‌هایی که از سقف 128K رد بشن کلاً رد می‌شن.

نصب رسمی با Transformers 5.19.0 و PyTorch 2.10 به بالا انجام می‌شه. چون Clover کد مدل خودش رو داره (فایل‌هایی مثل modeling_clover_moe.py)، باید trust_remote_code=True بدی:

model_id = "Diffuspace/Clover-35B-A3B-Preview"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    trust_remote_code=True,
    dtype=torch.bfloat16,
    device_map="cuda:0",
).eval()

بعد از دانلود 26 فایل safetensors، می‌شه model_id رو به یه پوشهٔ لوکال اشاره داد. DiffuSpace برای سرو کردن و ارزیابی، SGLang رو پیشنهاد می‌ده، چون self-speculative decoding داره و سریع‌تره. تازه اختلاف‌های عددی کوچیک بین PyTorch و کرنل‌های SGLang می‌تونه متن خروجی رو عوض کنه. یه پیاده‌سازی llama.cpp هم هست، ولی کد آموزش منتشر نشده. چندتا کنترل ضدتکرار هم از قبل تنظیم شدن: presence penalty با مقدار 0.9، repetition penalty با مقدار 1.05، و دو bias تدریجی dllm_length_penalty و dllm_think_end_bias که بعد از چند هزار توکن مدل رو آروم به سمت تموم کردن جواب و فکرش هل می‌دن. سقف واقعی همون max_new_tokens می‌مونه.

به گفتهٔ نویسنده، نمودارهای DiffuSpace نشون می‌دن Clover تو شش بنچمارک agentic از LLaDA، Dream و Mercury جلوتره. ولی تو تست‌های دستی، باگ یه اپ Docker رو درست نکرد و گفت درست کرده، تست نام‌گذاری 80 زبانه نصفه موند و پازل Zebra بعد از بیشتر از 50 دقیقه نصفه درست شد. نتیجه‌گیری مقاله اینه که Clover یه آزمایش فنی جدیه، ولی هنوز جایگزین آماده‌ای برای کارهای کدنویسی و استدلال نیست.

نکات کلیدی:

• وزن‌های BF16 حدود 69 گیگ VRAM می‌خوان و مصرف واقعی زیر 68 گیگ دیده شده.
• نصب رسمی: Transformers 5.19.0، PyTorch 2.10 به بالا و trust_remote_code=True.
• مقادیر پیش‌فرض تولید: block_size=32 و threshold=0.95.
• برای سرو کردن، SGLang با self-speculative decoding پیشنهاد می‌شه.
• کنترل‌های پیش‌فرض: presence penalty با مقدار 0.9 و repetition penalty با مقدار 1.05.
• moe_block_coreset_top_p با مقدار 0.9 تعداد expert‌های هر بلوک رو کم می‌کنه، ولی حجم وزن‌ها رو نه.