‏سرور ۴۸ هزار دلاری با ۶ GPU: ارزشش داشت؟

نویسنده بعد از خروج از یه شغل در یه شرکت بزرگ فناوری (FAANG)، تصمیم گرفت به‌عنوان محقق مستقل روی مدل‌های زبانی بزرگ (LLM) کار کنه. برای این کار به GPU نیاز داشت و به‌جای اجاره از ابر، یه سرور شخصی با ۶ عدد کارت گرافیک RTX 6000 Ada ساخت که اسمش رو گذاشت «grumbl».

انتخاب بین A100، H100 و RTX 6000 Ada بود. چون کارش بیشتر inference (اجرای مدل، نه فقط آموزش) داشت و نرخ قیمت به عملکرد 6000 Ada بهتر بود، این کارت رو انتخاب کرد. یه چالش مهم هم محدودیت برق آپارتمان بود؛ برای اینکه ۶ GPU به دو مدار برق جداگانه نیاز داشتن، مجبور شد از دو منبع تغذیه مجزا استفاده کنه — کاری که ریسک ایمنی داشت و برای انجام درستش از یه متخصص کمک گرفت.