Edge0-145B: مدل ۱۴۵ میلیاردی تو ۲۴ گیگ VRAM
خلاصهٔ کاملتر
شرکت Edge0 مدل Edge0-145B رو روی Hugging Face منتشر کرده؛ یه مدل sparse mixture-of-experts یا MoE (یعنی مدلی که برای هر توکن فقط چند تا زیرشبکهٔ «متخصص» رو فعال میکنه) با ۱۴۵ میلیارد پارامتر. ادعای اصلیش اینه که تو ۲۴ گیگابایت VRAM جا میشه، یعنی همون مقداری که RTX 5090 داره. پایهٔ مدل Qwen/Qwen3.8-Flash-Next هست و برچسبهای agent، coding و edge-inference داره.
به گفتهٔ نویسنده، یه مدل dense با ۱۴۵ میلیارد پارامتر با دقت ۱۶ بیتی حدود ۲۹۰ گیگ حافظه فقط برای وزنها لازم داره. Edge0 این فاصله رو با دو تا ترفند پر کرده. اولی NVFP4 هست، یعنی یه فرمت ممیز شناور ۴ بیتی. این بهتنهایی حجم رو به حدود ۷۰ تا ۸۰ گیگ میرسونه. نکته اینه که مدل «از اول با ۴ بیت آموزش دیده»، نه اینکه بعد از آموزش فشرده بشه.
ترفند دوم که برای رسیدن به ۲۴ گیگ مهمتره، طراحیایه که مدل کارت اسمش رو latent MoE گذاشته. همهٔ پارامترها روی دیسک هستن ولی برای هر توکن فقط expertهای فعال اجرا میشن. فایلهای جدای experts.bin، dense.bin و labels.bin و یه روش اختصاصی برای مسیریابی expertها کمک میکنن بخش فعال مدل اونقدر کوچیک بمونه که تو VRAM یه GPU جا بشه.
مخزن مدل خیلی ریزتر از حالت معمول تقسیم شده و نشون میده یه runtime اختصاصی پشتشه، نه یه تبدیل ساده برای llama.cpp. فایلهایی مثل model-skeleton.gguf و ple-fp8.gguf، دو نسخهٔ q4 و q8 برای بخش dense و یه پوشهٔ mtp/ هست. این پوشه یه ماژول multi-token prediction داره، یعنی تکنیکی شبیه speculative decoding که چند توکن رو جلوجلو حدس میزنه تا تولید متن سریعتر بشه. یه اسکریپت start.sh هم برای اجرای مدل گذاشتن.
نویسنده توضیح میده که بیشتر مدلهای «۴ بیتی» روی Hugging Face اول با ۱۶ بیت آموزش دیدن و بعد با روشهایی مثل GPTQ یا AWQ فشرده شدن که یه کم دقتشون رو کم میکنه. تو آموزش بومی ۴ بیتی، خود وزنها و گرادیانها از همون اول با این محدودیت کنار میان. NVFP4 چون ممیز شناوره، بازهٔ عددی بزرگتری از INT4 رو پوشش میده و خطاهای مربوط به مقدارهای پرت کمتر میشه.
نویسنده میگه اگه یه کارت ۲۴ گیگی داری، این یکی از معدود راههاییه که یه مدل با این مقیاس رو بدون اجارهٔ GPU ابری اجرا کنی، ولی روی کارت ۸ یا ۱۲ گیگی جا نمیشه. لایسنس مدل «other» هست و یه فایل لایسنس جدا هم برای Qwen داره، پس برای استفادهٔ تجاری باید هر دو رو چک کنی. نشانههایی از نسخههای Edge0-120B با فرمت NVFP4 و q3k هم تو مخزن هست.
نکات کلیدی:
- Edge0-145B یه مدل MoE با ۱۴۵ میلیارد پارامتره که تو ۲۴ گیگ VRAM مثل RTX 5090 جا میشه.
- مدل پایهش Qwen/Qwen3.8-Flash-Next هست.
- از اول با فرمت ۴ بیتی NVFP4 آموزش دیده، نه با GPTQ یا AWQ بعد از آموزش.
- یه ماژول multi-token prediction برای سریعتر کردن تولید متن داره.
- لایسنسش «other» هست و لایسنس Qwen هم جدا باید رعایت بشه.
- روی Hugging Face ۲۲۷ لایک و بیشتر از ۱۴ هزار دانلود داشته.




