‏قیمت GPU برای هوش مصنوعی لوکال: کدوم کارت ارزش خرید داره؟

تو این مقاله یه روش حساب‌شده برای خرید GPU جهت local inference (یعنی اجرای مدل‌های زبانی روی سخت‌افزار خودت به‌جای API) معرفی شده: یه اسپردشیت یا داشبورد که قیمت فعلی کارت‌های دست‌دوم رو جمع می‌کنه و با چند عدد مقایسه‌شون می‌کنه. نویسنده می‌گه بازار الان خیلی پرنوسانه. بعضی کارت‌ها به‌خاطر تقاضا، صادرات و کمبود بالاتر از MSRP (قیمت رسمی زمان عرضه) فروخته می‌شن و بعضی‌ها بی‌سروصدا زیر اون قیمت اومدن.

هر کارت با چهار عدد سنجیده می‌شه:

• ارزون‌ترین قیمت دست‌دوم با خرید فوری، مثلاً تو eBay، نه قیمت حراجی
• اختلاف با MSRP؛ عدد منفی یعنی از زمان عرضه ارزون‌تر شده
• قیمت هر گیگابایت VRAM، یعنی برای جا دادن مدل تو حافظه چقدر پول می‌دی
• قیمت هر GB/s از memory bandwidth (سرعت جابه‌جایی داده تو حافظه‌ی کارت)، که تقریباً سرعت تولید توکن رو نشون می‌ده

نویسنده تأکید می‌کنه هیچ‌کدوم رو نباید تنها نگاه کرد. کارتی با VRAM ارزون ولی bandwidth ضعیف مدل بزرگ رو جا می‌ده ولی کند اجراش می‌کنه، و کارتی با bandwidth عالی ولی حافظه‌ی کم، سریعه ولی مدلی که می‌خوای اصلاً توش جا نمی‌شه.

طبق قیمت‌های فعلی، RTX 3090 با 24GB و حدود 936 GB/s زیر MSRP فروخته می‌شه، هرچند نمونه‌های دست‌دوم معمولاً سرویس خمیر و پد حرارتی لازم دارن. RTX 2080 Ti مودشده با 22GB هم به‌صرفه‌ست ولی باید به فروشنده و کیفیت مود دقت کرد. RTX 3060 12GB شروع ارزونیه و خیلی‌ها دوتاشو کنار هم می‌ذارن. Tesla V100 32GB که قیمت عرضه‌ش پنج‌رقمی بود حالا کسری از اون قیمته، ولی فن نداره و یه blower پرسروصدا لازم داره.

RTX 5090 الان چند هزار دلار بالاتر از MSRP فروخته می‌شه و قیمت هر گیگابایت VRAMش از همه‌ی کارت‌های رایج خیلی بیشتره؛ RTX 4090 هم داره همین مسیر رو میره. RTX 5060 Ti 16GB که با حدود 429 دلار عرضه شد، حالا خیلی گرون‌تر شده. به گفته‌ی نویسنده RTX 4060 Ti حتی دست‌دوم هم ارزش نداره چون bandwidthش نسبت به قیمت ضعیفه. کارت‌های ماینینگ مثل CMP 170HX هم با وجود bandwidth بالا، ریسک VRAM ناهمگون و نمونه‌ی خراب دارن.

سیستم‌های unified memory (یعنی پردازنده و گرافیک از یه حافظه‌ی مشترک استفاده می‌کنن) مثل ماشین‌های کلاس Strix Halo و DGX Spark انویدیا معمولاً حدود 128GB حافظه دارن ولی bandwidthشون از کارت‌های مجزا کمتره. پس قیمت هر گیگابایت حافظه‌شون منطقی به نظر میاد، ولی قیمت هر واحد bandwidth بدتره. DGX Spark هم برای مدل‌های 4-bit کوانتیزه‌شده ساخته شده، نه اجرای مدل با دقت کامل.

نکات کلیدی:

• چهار معیار اصلی: قیمت دست‌دوم، اختلاف با MSRP، قیمت هر گیگابایت VRAM و قیمت هر GB/s از bandwidth.
• RTX 3090 با 24GB و حدود 936 GB/s زیر MSRP فروخته می‌شه ولی معمولاً سرویس حرارتی لازم داره.
• RTX 5090 چند هزار دلار بالاتر از MSRP معامله می‌شه و گرون‌ترین قیمت هر گیگابایت VRAM رو داره.
• RTX 5060 Ti 16GB با حدود 429 دلار عرضه شد ولی الان خیلی گرون‌تره.
• Tesla V100 32GB ارزونه ولی فن نداره و خنک‌کننده‌ی blower پرسروصدا می‌خواد.
• سیستم‌های unified memory مثل DGX Spark حدود 128GB حافظه دارن ولی bandwidthشون از کارت‌های مجزا کمتره.