مکبوک ایر M5 برای مدلهای محلی
هوش مصنوعیخلاصهٔ کاملتر
تو این مقاله پنج نسل مکبوک ایر از M1 تا M5 کنار هم گذاشته شدن تا به یه سؤال مشخص جواب بدن: M5 برای اجرای مدلهای زبانی روی خود دستگاه چی رو عوض میکنه؟ جواب کوتاه، پهنای باند حافظهست. تو بنچمارک STREAM، M5 به ۱۴۲ گیگابایت بر ثانیه رسیده در برابر ۱۱۳ گیگابایت M4؛ یعنی حدود ۲۶ درصد رشد که تقریباً دقیق با ادعای ۲۸ درصدی خود اپل جور درمیاد.
نویسنده توضیح میده که اجرای یه مدل محلی دو مرحلهٔ جداست. پردازش پرامپت محاسبهمحوره و از هستههای بیشتر و شتابدهندههای ماتریسی سود میبره، ولی تولید توکن عملاً به پهنای باند گره خورده: هر توکن یعنی عبور دوبارهٔ وزنهای مدل از حافظه. برای همین اضافهکردن هستهٔ CPU تأثیر کمی روی سرعت تولید داره، و حافظهٔ یکپارچه باعث میشه این رشد همزمان به CPU و GPU و شتابدهندههای عصبی برسه.
از طرف دیگه رشد عمومی CPU داره کند میشه. تو Speedometer جهشها از ۲۲ درصد (M1 به M2) به ۱۴، بعد ۱۱ و حالا فقط ۵ درصد رسیده که کمترین رشد نسلی این خطه؛ هرچند مجموع M1 تا M5 حدود ۶۰ درصده. در عوض بارهای چندهستهای بهتر جواب دادن: کامپایل Llama.cpp روی M5 حدود ۵۴ ثانیه طول کشیده، ۱۴ درصد سریعتر از M4 و تقریباً نصف زمان M1.
نکتهٔ منفی، گرماست. تو یه تست فشار پنجمرحلهای روی همهٔ هستهها، M5 سریعترین دستگاه بوده ولی بیشترین افت رو هم داشته: حدود ۶ درصد از دور اول تا آخر، در برابر ۵ درصد M4 و M3. بدنهٔ بدون فن یعنی جلسات طولانی اینفرنس محلی بالاخره به سقف حرارتی میخورن.
به گفتهٔ نویسنده، سرعت استوریج هم بیسروصدا بیشتر از دوبرابر شده که برای جابهجایی فایلهای وزن مدل مهمه، و اپل پیکربندی پایهٔ ۲۵۶ گیگابایتی رو کنار گذاشته. ولی گیر اصلی جای دیگهست: ظرفیت رم. مدل بزرگتر قبل از هر چیز باید تو حافظه جا بشه، پس انتخاب مقدار رم مهمتر از انتخاب نسل تراشهست.
نکات کلیدی:
- پهنای باند حافظهٔ M5 تو STREAM به ۱۴۲ گیگابایت بر ثانیه رسیده؛ ۲۶ درصد بیشتر از M4
- تولید توکن به پهنای باند وابستهست، نه تعداد هسته
- رشد Speedometer فقط ۵ درصد بوده؛ کمترین جهش نسلی تا حالا
- کامپایل Llama.cpp روی M5 حدود ۱۴ درصد سریعتر از M4 تموم شده
- بدنهٔ بدون فن زیر بار طولانی حدود ۶ درصد افت میکنه
- ظرفیت رم، نه پهنای باند، تعیین میکنه چه مدلی اصلاً اجرا میشه
