بهترین کامپیوتر برای هوش مصنوعی محلی وجود نداره
هوش مصنوعیخلاصهٔ کاملتر
به گفتهٔ نویسنده، «بهترین کامپیوتر برای هوش مصنوعی محلی» یه جواب واحد نداره و ترتیب درست برعکس چیزیه که اکثر آدما فکر میکنن: اول مدل رو انتخاب کن، بعد سختافزار. مدلهای چندمیلیاردی مثل 3B روی یه لپتاپ معمولی یا حتی مینیپیسی راه میافتن، مدلهای 13B تا 30B دیگه GPU اختصاصی یا مک با حافظهٔ یکپارچهٔ سخاوتمند میخوان، و 70B به بالا معمولاً کارت ورکاستیشنی Nvidia یا مکی با حافظهٔ خیلی زیاد لازم داره.
بزرگترین اهرم برای جا دادن یه مدل بزرگ روی سختافزار کوچیک، quantization هست (یعنی فشردهکردن وزنهای مدل به یه فرمت عددی کمبیتتر). تو مقاله اومده که همینجا خیلی از راهنماهای خرید شلخته میشن: پیشنهاد سختافزار برای «Llama 3 70B» بدون اینکه بگی با چه سطحی از quantization، تقریباً بیمعنیه، چون حافظهٔ لازم برای یه مدل واحد با سطوح مختلف فشردهسازی زمین تا آسمون فرق داره.
حالت شکست رایج تو اجرای محلی «کنده» نیست، «جا نمیشه»ست. اگه وزنهای مدل بهعلاوهٔ context از VRAM یا حافظهٔ یکپارچه بزنه بیرون، یا مدل اصلاً بار نمیشه یا میریزه رو RAM سیستم و سرعت میره ته چاه. برای همین ظرفیت حافظه اولین قید سخته، نه فرکانس و تعداد هسته. یعنی یه GPU سریع با VRAM کم میتونه جلوی مدلی کم بیاره که یه GPU کندتر ولی پرحافظهتر راحت اجراش میکنه.
نویسنده بین دستههای سختافزاری برندهٔ مطلق معرفی نمیکنه. مکها چون حافظهشون بین CPU و GPU مشترکه و میشه با ظرفیت بالا سفارششون داد، برای بار کردن مدلهای بزرگتر جذابن، ولی throughput خامشون از یه ست Nvidia همرده عقبتره. کارتهای Nvidia وقتی مدل تو VRAM جا بشه بیشترین توکن بر ثانیه رو میدن. لپتاپهای گیمینگ برای مدلهای کوچیک خوبن و مینیپیسیها فقط برای آزمایش سبک.
روش عملیای که پیشنهاد میده اینه: مدل رو انتخاب کن، تعداد پارامترش رو ببین، سطح quantization رو تعیین کن و بعد سراغ سختافزاری برو که حافظهش با فاصلهٔ امن از نیاز اون مدل بیشتر باشه تا برای طول context و سربارهای دیگه هم جا بمونه. سرعت یه تصمیم درجهدومه و اونجا هم به گفتهٔ نویسنده بنچمارک واقعی حرف آخر رو میزنه، نه عدد روی برگهٔ مشخصات.
نکات کلیدی:
- اندازهٔ مدل (3B تا 70B و بالاتر) اولین فیلتر خریده، نه قیمت کارت گرافیک
- quantization میتونه نیاز حافظهٔ یه مدل رو از حد ورکاستیشن به حد لپتاپ برسونه
- ظرفیت VRAM یا حافظهٔ یکپارچه تنگنای واقعیه؛ سرریز روی RAM سیستم کارایی رو نابود میکنه
- مکها ظرفیت حافظهٔ بالا میدن، Nvidia سرعت بیشتر، لپتاپ گیمینگ و مینیپیسی فقط مدلهای کوچیک
- عدد توکن بر ثانیهٔ بنچمارک واقعی از مشخصات روی کاغذ قابلاعتمادتره
