اجرای Apex-35B روی سیستم خودت با llama.cpp
خلاصهٔ کاملتر
Apex-35B اولین مدل شرکت Apex Intelligence هست که روی Hugging Face با اسم Apexintelligence-AI/Apex-35B-V1.0 منتشر شده. پایهش Qwen3.6-35B-A3B هست و معماریش sparse mixture of experts یا MoE (یعنی برای هر توکن فقط بخشی از شبکه فعال میشه). کل پارامترها ۳۵ میلیارده ولی فقط حدود ۳ میلیاردش برای هر توکن کار میکنه. context تا ۲۶۲ هزار توکن رو ساپورت میکنه، هم متن و هم ورودی تصویری میگیره و با فرمت safetensors تو ۲۶ تکه منتشر شده.
تو این مقاله اومده که اجرای محلیش مثل بقیهٔ مدلهای MoE سازگار با GGUF هست. اول مدل رو از Hugging Face میگیری، یا وزنهای کامل BF16 یا یه نسخهٔ GGUF کوانتیزهشده. بعد سطح quantization (یعنی فشرده کردن وزنها با دقت کمتر برای کم کردن حافظه) رو انتخاب میکنی. بعد سرور llama.cpp رو روی فایلهای GGUF اجرا میکنی، طول context رو تنظیم میکنی و یه endpoint محلی بالا میاد که میتونی یه رابط وب یا فریمورک agent بهش وصل کنی.
یه نکتهٔ مهم: با اینکه فقط ۳ میلیارد پارامتر فعاله، کل ۳۵ میلیارد باید تو حافظه لود بشه. یعنی سرعت و مصرف محاسباتی شبیه مدل ۳B هست، ولی حافظه رو باید برای کل مدل داشته باشی.
تو تست، نسخهٔ Q8 روی یه H100 با ۸۰ گیگ حافظه، کمی بیشتر از ۳۸ گیگ VRAM مصرف کرد. Q8 تقریباً همهٔ دقت رو نگه میداره و حافظه رو نسبت به BF16 حدوداً نصف میکنه. لازم نیست حتماً H100 داشته باشی، هر GPU یا ترکیب GPU با همین مقدار حافظه کار میکنه. اگه ۳۸ گیگ هم زیاده، نسخههایی مثل Q4_K_M یا Q5_K_M حافظهٔ کمتری میخوان، ولی نویسنده هشدار میده که فشردهسازی زیاد ممکنه کیفیت استدلال و ریاضی رو پایین بیاره.
نکتهٔ جالب ساختش اینه که تیم یه سیستم خودکار به اسم Apex Research داشته که دادهٔ آموزشی تولید میکرده، آزمایشها رو اجرا میکرده، دستورالعمل آموزش رو تنظیم میکرده و GPU kernelها رو بهینه میکرده. تو تستهای عملی هم یه باگ مالی رو تو یه اپ چندصفحهای تو حدود پنج دقیقه و نیم درست کرد، یه فایل فروش شلوغ رو مرتب کرد، ولی تو تست بصری شبیهسازی بارون ضعیفتر بود. نویسنده معتقده برای کدنویسی agentic و استدلال ساختاریافته روی سختافزار معمولی گزینهٔ خوبیه.
نکات کلیدی:
- آدرس Hugging Face: Apexintelligence-AI/Apex-35B-V1.0، پایه: Qwen3.6-35B-A3B
- ۳۵ میلیارد پارامتر کل، حدود ۳ میلیارد فعال، ولی کل مدل باید تو حافظه لود بشه
- نسخهٔ Q8 با llama.cpp حدود ۳۸ گیگ VRAM مصرف میکنه، تقریباً نصف BF16
- Q4_K_M و Q5_K_M حافظهٔ کمتری میخوان ولی روی استدلال پیچیده افت دارن
- context تا ۲۶۲ هزار توکن و لایسنس Apache 2.0 برای استفادهٔ تجاری




