قیمت ۳۰۹۰ دست دوم پرید بالا
هوش مصنوعیخلاصهٔ کاملتر
به نوشتهٔ این مقاله بازار کارت دست دوم دوباره تکون خورده. RTX 3090 که مدتها محبوبترین انتخاب برای اجرای محلی مدلهای زبانی بود، تو چند روز تا حدود ۱۴۰۰ دلار بالا رفته. ماجرا زنجیرهایه: قیمت ۵۰۹۰ شدید پریده و کسی که بهش نمیرسه میاد سراغ ۴۰۹۰ و ۳۰۹۰. در مقابل RTX 3060 نسخهٔ ۱۲ گیگ هنوز حدود ۳۰۰ دلاره و ارزونترین راه جمع کردن VRAM (یعنی حافظهٔ خود کارت گرافیک که مدل باید توش جا بشه) حساب میشه.
بخش جالب مقاله تست کوانتایز سهحالتهست (ternary quantization، یعنی وزنهای مدل رو فقط با سه حالت ۱-، ۰ و ۱ نگه میداری تا حجمش بیاد پایین). با این روش یه مدل چگال ۲۷ میلیارد پارامتری به جای چهار تا ۳۰۹۰ و NVLink، حدود ۱۶.۸ گیگ از همون یک کارت ۲۴ گیگی رو میگیره و جا برای context بیشتر هم میمونه. سرعتش روی یک کارت حدود ۶۵ تا ۶۹ توکن بر ثانیه بود، در برابر ۳۵ تا ۴۰ توکن نسخهٔ FP16 روی چهار کارت.
ادعا این بود که ۹۸ درصد کیفیت حفظ میشه، ولی تست دستی این رو تأیید نمیکنه. تو کارهای ساده مثل چت یا ساختن یه انیمیشن SVG تفاوت چندانی دیده نشد و tool calling هم بدون خطا کار کرد. اما تو یه تست سختتر، ساختن چند بازی مرورگری با چند فایل، نسخهٔ فشرده منطق بازی رو خراب کرد، کنترلها جواب نمیدادن و فونتها به هم ریخته بود. نویسنده نمرهٔ این بخش رو حدود D+ میده.
جمعبندی نویسنده اینه که قیمتها سریع تکون میخورن و چیزی که هفتهٔ پیش معاملهٔ خوبی بود شاید الان نباشه، پس قبل از خرید قیمت روز رو ببین. یک ۳۰۹۰ با مدل کوانتایز شده برای چت و کارهای تکمرحلهای کافیه، ولی برای کد زدن جدی هنوز نمیشه جای مدل full-precision رو باهاش پر کرد.
نکات کلیدی:
- RTX 3090 دست دوم حدود ۱۴۰۰ دلار و همچنان صعودی، به دنبال جهش قیمت ۵۰۹۰ و ۴۰۹۰
- RTX 3060 نسخهٔ ۱۲ گیگ حدود ۳۰۰ دلار، ارزونترین ورودی به اجرای محلی
- مدل ۲۷B با کوانتایز سهحالته حدود ۱۶.۸ گیگ از ۲۴ گیگ کارت رو میگیره
- ۶۵ تا ۶۹ توکن بر ثانیه روی یک ۳۰۹۰ در برابر ۳۵ تا ۴۰ توکن FP16 روی چهار کارت
- ادعای حفظ ۹۸ درصد کیفیت تو تست کدنویسی چندفایلی تأیید نشد
