اجرای یه مدل ۲۷ میلیاردی رو یه مینی‌پی‌سی کف‌دستی
هوش مصنوعیخلاصهٔ کامل‌تر
یه مدل ۲۷ میلیارد پارامتری (Qwen3) رو میشه رو یه مینی‌پی‌سی کف‌دستی اجرا کرد، ولی «اجرا شدن» با «خوب اجرا شدن» فرق داره. رو دستگاه تست‌شده (Kadas Mind Pro با پردازندهٔ اینتل Panther Lake و ۶۴ گیگ حافظهٔ مشترک)، مدل کوانتایز شده به ۴ بیت، فقط با گرافیک روی‌تراشه حدود ۵ توکن در ثانیه تولید می‌کرد؛ سرعتی که خیلی‌ها باهاش کنار نمیان و برمی‌گردن سراغ سرویس‌های ابری. ولی چند ترفند تونست این سرعتو دو تا چهار برابر بالا ببره.
دلیل کندی، قدرت پردازش نیست، پهنای باند حافظه‌ست. هر توکنی که مدل تولید می‌کنه، یعنی کل وزن‌های مدل باید یه‌بار از حافظه رد بشن؛ برای یه مدل ۱۸ گیگابایتی، یعنی هر کلمه معادل جابه‌جایی ۱۸ گیگ داده‌ست. محاسبه نشون داد این دستگاه واقعاً حدود ۱۰۰ گیگابایت در ثانیه پهنای باند داره و هیچ بک‌اندی (Vulkan، SYCL، OpenVINO) نمی‌تونه از این سقف رد بشه، چون محدودیت معماریه نه ضعف نرم‌افزار.
یه ترفند رایگان، speculative decoding بود؛ یعنی یه مدل کوچیک و سریع چند توکن رو حدس می‌زنه و مدل اصلی فقط تأییدشون می‌کنه، که تقریباً هم‌قیمت تأیید یه توکنه. این کار سرعت گرافیک روی‌تراشه رو از ۵ به ۱۱ توکن در ثانیه رسوند، و عمق حدس‌زدن ۳ تایی (پیش‌فرض llama.cpp) بهترین نتیجه رو داد؛ رفتن تا عمق ۸ حتی سرعت رو کمتر از حالت خاموش کرد.
تنظیم دستی تعداد لایه‌های روی GPU (پرچم NGL) هم خیلی مهم بود. وقتی مدل کمی از حافظهٔ کارت گرافیک (VRAM) بزرگ‌تر بود، افزایش تدریجی لایه‌ها سرعتو از ۴.۵ به نزدیک ۱۴ توکن در ثانیه رسوند، ولی ست‌کردن NGL رو ۹۹ (یعنی «همه‌چی رو بذار رو گرافیک») باعث سقوط سرعت به زیر ۱ توکن شد. راه‌حل تمیزتر، کوچیک‌کردن فرمت کوانتیزیشن بود: رفتن از فرمت ۱۸ گیگابایتی به یه فرمت ۱۳ گیگابایتی جدیدتر (IQ4XS)، هم سرعت پردازش پرامپت و هم سرعت تولید رو تقریباً دو برابر کرد، با افت کیفیت ناچیز تو تست پرپلکسیتی.
یه نکتهٔ جالب دیگه دربارهٔ داکِ پرسرعت GPU بود: با اینکه این لینک ظرفیت ۱۵.۸ گیگابایت در ثانیه داره، تو حالت تولید متن فقط حدود ۲ مگابایت در ثانیه ازش استفاده می‌شد؛ یعنی این پهنای باند زیاد فقط موقع لود اولیهٔ مدل به‌کار میاد، نه تولید متن.
نکات کلیدی:
- روی گرافیک روی‌تراشه، سرعت تولید بین ۵ تا ۶ توکن در ثانیه بود؛ پردازش پرامپت با OpenVINO تا ۴۴۶ توکن در ثانیه رسید
- گلوگاه اصلی پهنای باند حافظه‌ست، نه قدرت پردازنده
- speculative decoding با عمق ۳ سرعتو از ۵ به ۱۱ توکن در ثانیه رسوند
- تنظیم دستی NGL به‌جای مقدار پیش‌فرض ۹۹، سرعتو از ۱۰.۵ به ۱۴ توکن در ثانیه برد
- تعویض کوانتیزیشن از Q4KM (۱۸ گیگ) به IQ4XS (۱۳ گیگ) سرعتو تقریباً دو برابر کرد بدون افت کیفیت محسوس
