بنچمارک LLM محلی: ۳۰ تا ۵۰ توکن بر ثانیه روی حافظهٔ یکپارچه
هوش مصنوعیخلاصهٔ کاملتر
این مقاله یه سری بنچمارک عملی از اجرای LLM محلی روی سختافزار حافظهیکپارچه ارائه میده. تستها روی تراشهٔ Ryzen AI Max Plus 395 با ۱۶ هستهٔ CPU، GPU رادئون 8060S (حدود ۶۰ ترافلاپس در FP16) و ۱۲۸ گیگابایت LPDDR5X مشترک انجام شده؛ ابزار هم LM Studio با رانتایم ROCm Llama.cpp بوده و ۷۵ درصد استخر حافظه به GPU اختصاص داده شده.
نتیجهها: یه مدل dense نهمیلیاردی همراه با یه درفتر، کمی زیر ۴۰ توکن بر ثانیه؛ مدل mixture-of-experts کوئن ۳.۶ با ۳۵ میلیارد پارامتر کل و حدود ۳ میلیارد پارامتر فعال، بالای ۵۰ توکن بر ثانیه؛ و GPT-OSS 120B حدود ۳۰ توکن بر ثانیه. این اعداد وقتی معنا پیدا میکنن که بدونی همهٔ این مدلها همزمان تو حافظه جا شدن — کاری که یه GPU مجزای ۳۲ گیگابایتی بدون کوانتیزیشن سنگین یا offload از پسش برنمیاد.
نویسنده روی یه سؤال کلیدی مکث میکنه: چرا مدل ۳۵ میلیاردی از مدل ۱۲۰ میلیاردی سریعتره؟ جواب تو تفاوت «پارامتر کل» و «پارامتر فعال» ـه. تو معماری MoE فقط بخشی از وزنها برای هر توکن فعال میشن، و سرعت خیلی بیشتر با پارامتر فعال همبستگی داره تا اندازهٔ کل. کوئن ۳.۶ با ۳ میلیارد پارامتر فعال محاسبهٔ کمتری برای هر توکن لازم داره، هرچند کل مدل هنوز باید تو حافظه لود بشه.
این موضوع برای انتخاب مدل تو گردشکارهای ایجنتی مستقیماً کاربردیه. سی توکن بر ثانیهٔ GPT-OSS 120B برای رابط چت یا RAG که کاربر همزمان داره میخونه کاملاً قابل قبوله، ولی حلقههای ایجنتی که دهها فراخوانی رو پشت سر هم زنجیر میکنن، از مدلهای سبکتر با پارامتر فعال کمتر خیلی بیشتر سود میبرن.
یه درس دوم هم درفتر (speculative decoding) ـه. هردو مدل سریع تستشده از یه مدل کوچیکتر استفاده کردن که توکنهای بعدی رو حدس میزنه و مدل بزرگتر اونها رو دستهای تأیید میکنه. چون تأیید نهایی همچنان دست مدل اصلیه، throughput بدون افت کیفیت بالا میره. به گفتهٔ نویسنده این تکنیک داره استاندارد میشه و خانوادههایی مثل Gemma و کوئن ۳.۵/۳.۶ نسخهٔ درفتر رو خودشون منتشر میکنن.
مزیت حافظهٔ یکپارچه فقط به متن محدود نمیشه. همون سیستم ComfyUI رو هم برای تولید تصویر و ویدیو اجرا کرده و رندر هر تصویر حدود ۱۹ تا ۲۰ ثانیه طول کشیده — یعنی میشه دهها نسخهٔ مختلف از یه پرامپت رو تو یه نشست تست کرد، نه اینکه رندر رو شب بذاری و صبح بیای. گردشکارهای مبتنی بر ControlNet مثل تشخیص لبه و تخمین پوز هم کار کردن.
یه محدودیت هم هست که نباید ازش گذشت: NPU حدود ۵۰ TOPS این تراشه تو استنتاج معمول LLM تقریباً بیکار میمونه، چون بیشتر استکهای فعلی کار رو از مسیرش رد نمیکنن. انتظار میره با بالغشدن پشتیبانی نرمافزاری این وضعیت عوض بشه.
جمعبندی نویسنده اینه که حافظهٔ یکپارچه جایگزین GPU مجزا نیست؛ کارتهای اختصاصی روی مدلهایی که تو ظرفیتشون جا میشن پهنای باند بهتری دارن. مزیت این معماری «ظرفیت» ـه: اینکه مدلهایی اصلاً بالا بیان که قبلاً روی سختافزار خونگی اجرا نمیشدن.
نکات کلیدی:
- سرعتهای اندازهگیریشده: زیر ۴۰، بالای ۵۰ و حدود ۳۰ توکن بر ثانیه برای سه مدل تستشده
- تو مدلهای MoE سرعت با پارامتر فعال تعیین میشه، نه اندازهٔ کل مدل
- درفتر و speculative decoding بدون افت کیفیت throughput رو بالا میبرن
- برای حلقههای ایجنتی مدل سبکتر بهتر از مدل بزرگتر جواب میده
- تولید تصویر با ComfyUI حدود ۱۹ تا ۲۰ ثانیه برای هر رندر
- NPU پنجاه TOPS به دلیل نبود پشتیبانی نرمافزاری عملاً استفاده نمیشه
