اجرای هوش مصنوعی محلی Strata روی یه RTX 3060
هوش مصنوعیخلاصهٔ کامل‌تر
طبق این مقاله، یه سیستم ارزون با یه RTX 3060 با ۱۲ گیگ VRAM، ۶۴ گیگ رم و یه CPU از خانوادهٔ Xeon E5 v4 تونسته موتور هوش مصنوعی محلی Strata رو کامل اجرا کنه، هم پردازش تصویر و هم یه agent harness (یعنی محیطی که ایجنت توش ابزار صدا می‌زنه و کار انجام می‌ده). همهٔ قطعه‌ها دست‌دوم از eBay خریده شدن.
هزینه‌ها این‌طوریه: CPU مدل E5-2696 V4 با ۲۲ هسته حدود ۲۷ دلار، یا E5-2695 V4 با ۱۸ هسته حدود ۲۰ تا ۷۵ دلار. رم ۶۴ گیگی حدود ۲۵۰ دلار و خود RTX 3060 حدود ۳۲۵ دلار. جمعش با CPU قوی‌تر ۸۲۵ دلار و با CPU ارزون‌تر ۷۶۹ دلار میشه، البته بدون کیس و حافظه. نسخهٔ دوکارته حدود ۱۱۰۰ دلار درمیاد که بیشترش به‌خاطر گرون شدن کارت گرافیکه.
سرعت decode (یعنی سرعت تولید توکن‌های جواب) روی یه سؤال سنگین استدلالی از حدود ۳۳ توکن بر ثانیه شروع شد و با بلند شدن جواب به وسط ۴۰ها رسید. بعد از ۱۶ هزار توکن، speculative decoding (یعنی حدس زدن چند توکن جلوتر و تأیید یکجا) فعال شد و سرعت بیشتر شد. کل جواب حدود ۳۲ هزار توکن بود با میانگین ۴۹.۲ توکن بر ثانیه. چون ۱۲ گیگ VRAM برای کل مدل کافی نیست، سیستم از باس PCIe برای جابه‌جایی داده بین کارت و رم استفاده می‌کنه که مصرفش حدود ۵۶٪ بود. مصرف برق حداکثر حدود ۳۵۰ وات بود.
بخش تصویر هم خوب جواب داد: صفحه‌های مستندات فنی رو بررسی کرد و دست‌خط یه دستور پخت کیک رو، با عددهای دقیقش، درست خوند. سرعت prefill (یعنی پردازش ورودی قبل از شروع جواب) روی این کار ساده به حدود ۸۰۰ توکن بر ثانیه رسید. برای وصل کردن Hermes agent کافیه یه endpoint سفارشی با IP داخلی و پورت Strata (تو این تست 9877) و پسوند /v1 بدی. نویسنده توصیه می‌کنه این راه‌اندازی رو بدون امنیت اضافه رو اینترنت عمومی باز نکنی.
محدودیت اصلی سرعت نیست، حافظه و هم‌زمانیه. context window باید حدود 64K توکن محدود بشه و batch size روی یه کارت پیش‌فرض یکه، یعنی درخواست‌ها پشت سر هم اجرا می‌شن نه موازی. پس اگه ایجنت بخواد کار رو بین ساب‌ایجنت‌ها پخش کنه، اونا فقط تو صف می‌مونن. برای batch دو یا چهار یا یه کارت دوم لازمه یا رم خیلی بیشتر، حدود ۱۲۸ گیگ DDR4. به گفتهٔ نویسنده، برای کار یه نفره و یه ایجنت، این سیستم نقطهٔ شروع خوبیه.
نکات کلیدی:
- سخت‌افزار تست: یه RTX 3060 دوازده‌گیگی، ۶۴ گیگ رم و CPU مدل Xeon E5 v4.
- هزینهٔ کل حدود ۷۶۹ تا ۸۲۵ دلار با قطعات دست‌دوم و نسخهٔ دوکارته حدود ۱۱۰۰ دلار.
- سرعت decode بین ۳۳ تا میانگین ۴۹.۲ توکن بر ثانیه و prefill تا حدود ۸۰۰ توکن بر ثانیه.
- context window باید حدود 64K محدود بشه و batch size روی یه کارت یکه.
- ساب‌ایجنت‌ها موازی اجرا نمی‌شن، مگر با کارت دوم یا حدود ۱۲۸ گیگ رم.
- حداکثر مصرف برق حدود ۳۵۰ وات و دمای کارت حدود ۶۹ درجه بود.
