‏اجرای مدل زبانی محلی روی لپ‌تاپ با ۸ گیگ رم

تو این مقاله اومده که روی یه لپ‌تاپ با ۸ گیگ رم، مدل Qwen 3 4B با 4-bit quantization (یعنی فشرده کردن وزن‌های مدل از ۱۶ بیت به ۴ بیت) از طریق llama.cpp بین ۱۵ تا ۱۸ توکن در ثانیه تولید می‌کنه. این تست هم روی گرافیک داخلی Intel Core i5 (نسل Wildcat Lake) انجام شده و هم روی چیپ Apple A18 Pro.

فشرده‌سازی ۴ بیتی حجم مدل رو تقریباً یک‌چهارم می‌کنه. یه مدل ۴ میلیارد پارامتری اینجوری حدود ۵ گیگ جا می‌گیره و هنوز یه کم فضا برای context و سربار اجرا می‌مونه. بدون این فشرده‌سازی، همین مدل کوچیک هم قبل از اولین سؤال کل رم رو پر می‌کرد.

مشکل از مدل ۸B شروع می‌شه. گرافیک داخلی حافظه‌ی جدا نداره و از رم سیستم قرض می‌گیره، اونم فقط یه بخشش رو. تو تست‌ها، llama.cpp روی یه لپ‌تاپ فقط ۴.۳ گیگ و روی یکی دیگه ۵.۳ گیگ حافظه‌ی قابل‌دسترس برای GPU گزارش داده. یه مدل ۸B چهار بیتی فقط برای وزن‌هاش بیشتر از این لازم داره، پس بخشی از مدل می‌ره روی CPU.

CPU برای محاسبات موازی ماتریسی که مدل‌های transformer لازم دارن ساخته نشده. نتیجه‌ش این بوده که سرعت روی یه دستگاه به حدود ۷ توکن در ثانیه و روی دستگاه دیگه به کمتر از یک‌چهارم توکن در ثانیه رسیده، یعنی تقریباً هر چهار ثانیه یه توکن. احتمالاً swap روی دیسک هم این کندی رو بدتر کرده.

نویسنده یه نکته‌ی دیگه هم می‌گه: prompt processing (یعنی سرعت خوندن ورودی) با token generation (یعنی سرعت نوشتن جواب) فرق داره. مثلاً گرافیک Intel ورودی رو سریع‌تر خونده ولی چیپ اپل جواب رو سریع‌تر نوشته. به گفته‌ی نویسنده، برند چیپ اونقدر مهم نیست و چیزی که واقعاً فرق ایجاد می‌کنه مقدار رمه. یعنی اگه جدی می‌خوای با مدل‌های محلی کار کنی، ۱۶ گیگ رم خیلی دستت رو بازتر می‌کنه.

نکات کلیدی:

• مدل Qwen 3 4B چهار بیتی روی ۸ گیگ رم حدود ۱۵ تا ۱۸ توکن در ثانیه سرعت داره.
• از ۸ گیگ رم، تو تست‌ها فقط ۴.۳ تا ۵.۳ گیگ در دسترس GPU داخلی بوده.
• مدل Qwen 3 8B تو این حافظه جا نمی‌شه و سرعتش می‌تونه به زیر یک توکن در ثانیه برسه.
• سرعت دورقمی توکن برای چت راحته، ۵ تا ۱۰ توکن قابل‌تحمله و زیر دو توکن دیگه تعاملی نیست.
• برای مدل‌های بزرگ‌تر، ارتقای رم به ۱۶ گیگ مهم‌تر از پردازنده‌ی سریع‌تره.