Edge0-145B: نمرهٔ ۸۶.۵ تو Terminal-Bench با یه GPU خانگی
خلاصهٔ کاملتر
Edge0-145B یه مدل sparse mixture-of-experts یا MoE (یعنی مدلی که برای هر توکن فقط چند تا زیرشبکهٔ «متخصص» رو روشن میکنه) با ۱۴۵ میلیارد پارامتره. هدفش اینه که کارهای agentic رو روی یه GPU خانگی انجام بده، نه یه رک چند GPUیی. این مدل open-weight هست، روی Hugging Face و GitHub منتشر شده و تا حالا بیشتر از ۱۴ هزار دانلود داشته.
تو این مقاله اومده که مهمترین عدد این مدل نمرهٔ ۸۶.۵ تو Terminal-Bench 2.1 هست. این بنچمارک میسنجه مدل میتونه واقعاً با یه ترمینال کار کنه یا نه: اسکریپت بنویسه و اجرا کنه، تو فایلسیستم بگرده و خطاها رو دیباگ کنه. یعنی این مدل بیشتر بهعنوان یه agent ابزاربهدست معرفی شده تا یه چتبات معمولی.
سه بنچمارک دیگه هم هست. HLE سؤالهای خیلی سخت و تخصصی از رشتههای مختلف داره و چون نمرهٔ همهٔ مدلها توش پایینه، جایگاه نسبی مهمتر از خود عدده. GPQA-Diamond سؤالهای سطح تحصیلات تکمیلی تو زیست، فیزیک و شیمی داره که حتی با سرچ هم سخت جواب داده میشن. IFBench هم میسنجه مدل چقدر دقیق به دستورها گوش میده، مثلاً فرمت خروجی یا «این کارو نکن». نویسنده میگه این آخری برای pipelineهایی که خروجی مدل مستقیم میره تو یه سیستم دیگه خیلی مهمه.
حالا چطوری یه مدل اینقدر بزرگ روی یه GPU جا میشه؟ اول به خاطر همون sparsity، چون فقط بخش کوچیکی از پارامترها برای هر توکن فعال میشن. دوم به خاطر NVFP4، یعنی یه فرمت عددی ممیز شناور ۴ بیتی برای GPUهای جدید Nvidia. نکتهٔ مهم اینه که مدل از اول با NVFP4 آموزش دیده، نه اینکه با BF16 آموزش ببینه و بعد فشرده بشه. به گفتهٔ نویسنده این کار سختتره ولی معمولاً کیفیت بهتری میده.
مدل دو تا نسخهٔ اصلی داره. نسخهٔ NVFP4 برای کارتهای Nvidia که این فرمت رو سختافزاری ساپورت میکنن بهترین ترکیب سرعت و کیفیت رو داره. نسخهٔ Q3_K (از خانوادهٔ K-quant که تو اکوسیستم llama.cpp رایجه) مدل رو تا حدود ۳ بیت فشرده میکنه. این نسخه روی سختافزار و ابزارهای بیشتری اجرا میشه ولی یه کم از کیفیتش کم میشه. نویسنده معتقده هیچکدوم همیشه بهتر نیست و همهچی به سختافزارت بستگی داره.
نکات کلیدی:
- Edge0-145B یه مدل MoE با ۱۴۵ میلیارد پارامتره که برای اجرا روی یه GPU خانگی ساخته شده.
- نمرهٔ ۸۶.۵ تو Terminal-Bench 2.1 گرفته که توانایی کار agentic با ترمینال رو میسنجه.
- نتیجههاش رو تو Terminal-Bench، HLE، GPQA-Diamond و IFBench گزارش کرده.
- از اول با فرمت ۴ بیتی NVFP4 آموزش دیده، نه اینکه بعد از آموزش فشرده بشه.
- نسخهٔ Q3_K حدوداً ۳ بیتیه و سازگاری بیشتری داره ولی کیفیتش کمتره.
- open-weight هست و بیشتر از ۱۴ هزار دانلود و ۲۲۶ لایک روی Hugging Face داره.




