M5 Ultra یا دو تا DGX Spark؟ مقایسه برای اجرای LLM لوکال
هوش مصنوعیخلاصهٔ کامل‌تر
تو این مقاله یه Mac Studio با چیپ M5 Ultra و ۲۵۶ گیگ حافظه، با دو تا DGX Spark انویدیا (هر کدوم ۱۲۸ گیگ) مقایسه شده که با یه کابل RDMA بهم وصل شدن. نتیجه اینه که هیچ‌کدوم کامل نمی‌بره. روی DeepSeek V4 Flash هر دو حدود ۳۴ تا ۳۸ توکن در ثانیه جواب تولید می‌کنن.
دو تا Spark خودبه‌خود یه کامپیوتر نمی‌شن. اینجا از vLLM استفاده شده و دو دستگاه با RoCE (یعنی RDMA روی اترنت، که هر دستگاه مستقیم تو حافظه‌ی اون یکی می‌نویسه) بهم وصلن. روش کار tensor parallelism هست، یعنی هر لایه‌ی مدل نصف میشه و هر نصفه روی یه Spark حساب میشه. برای هر توکن دو دستگاه باید نتیجه‌شون رو با هم رد و بدل کنن، برای همین سرعت کابل خیلی مهمه. کابل اسماً ۲۰۰ گیگ بود ولی تو عمل حدود ۱۱۱ گیگ داد.
چرا اصلاً دو تا Spark؟ چون DeepSeek V4 Flash حدود ۱۵۰ تا ۱۶۰ گیگه و با حافظه‌ی لازم برای context، تو یه Spark جا نمی‌شه. مک کل مدل quantizeشده رو تو حافظه‌ی یکپارچه‌ش بار می‌کنه.
استنتاج دو مرحله داره. prefill (یعنی خوندن کل پرامپت با هم) کار محاسباتیه و قدرت GPU توش برنده‌ست. تولید توکن یکی‌یکی انجام میشه و به پهنای باند حافظه وابسته‌ست. Sparkها یه کدبیس ۳۲ هزار توکنی رو تو ۱۷ ثانیه خوندن و مک تو ۴۴ تا ۵۰ ثانیه. با ۱۲۸ هزار توکن Sparkها ۷۲ ثانیه طول کشیدن و مک احتمالاً بیشتر از سه دقیقه می‌برد. تو پرامپت‌های ۲ هزار توکنی فرق کمتر از دو ثانیه‌ست و حس نمی‌شه.
پهنای باند حافظه‌ی M5 Ultra طبق اعلام اپل ۱.۲ ترابایت بر ثانیه‌ست و هر Spark حدود ۲۷۳ گیگابایت. برای همین مک تو سرعت نوشتن پابه‌پا یا جلوتره. موتور نرم‌افزاری هم خیلی اثر داره: روی مک، DeepSeek با llama.cpp حدود ۴۰ و با MLX حدود ۵۳ توکن در ثانیه داد، یعنی ۳۴٪ بهتر. روی Qwen هم مک با ۴۵ توکن از Sparkها با ۳۸ جلو بود.
به گفته‌ی نویسنده، prompt caching (یعنی سرور context خونده‌شده رو نگه می‌داره) بیشتر این مشکل رو حل می‌کنه. با context کش‌شده‌ی ۱۶ هزار توکنی، سؤال اول روی مک ۲۱ و روی Spark ۸.۳ ثانیه طول کشید، ولی سؤال بعدی به ۳ و ۱.۴ ثانیه رسید.
برای چند کاربر هم‌زمان، مک تو چهار کاربر به اوج ۶۶ توکن رسید و تو هشت کاربر به ۴۶ افتاد، ولی Sparkها همچنان بالا رفتن. قیمت مک تست‌شده حدود ۱۴ هزار دلار و دو Spark با کابل حدود ۱۰ تا ۱۱ هزار دلاره.
نکات کلیدی:
- سرعت تولید توکن روی DeepSeek V4 Flash برای هر دو حدود ۳۴ تا ۳۸ توکن در ثانیه‌ست.
- خوندن کدبیس ۳۲ هزار توکنی: Spark حدود ۱۷ ثانیه، مک ۴۴ تا ۵۰ ثانیه.
- پهنای باند حافظه: M5 Ultra حدود ۱.۲ ترابایت بر ثانیه، هر Spark حدود ۲۷۳ گیگابایت بر ثانیه.
- MLX به‌جای llama.cpp روی مک سرعت DeepSeek رو ۳۴٪ بالا برد (۴۰ به ۵۳ توکن).
- مک تو چهار کاربر هم‌زمان به اوج ۶۶ توکن در ثانیه رسید و بعدش افت کرد.
- قیمت: مک حدود ۱۴ هزار دلار، دو Spark حدود ۱۰ تا ۱۱ هزار دلار.
