برای ایجنتهای محلی، RAM از GPU مهمتره
خلاصهٔ کاملتر
تو این مقاله اومده که برای اجرای یه مدل زبانی تنها، VRAM (یعنی حافظهی خود کارت گرافیک) تعیین میکنه مدل جا میشه یا نه و با چه سرعتی توکن تولید میکنه. ولی تو کارهای agentic، یعنی وقتی چند ایجنت برنامهنویسی یا تحقیق همزمان کار میکنن، داستان فرق داره. هر ایجنت یه تاریخچهی در حال رشد از گفتگو و tool callها داره که بین نوبتها باید یه جایی بمونه، و اون جا RAM سیستمه.
اگه RAM کم بیاد، سیستم مجبوره context یه ایجنت رو بیرون بندازه تا برای بقیه جا باز بشه. نوبت بعدی اون ایجنت باید همهچی رو از صفر دوباره بسازه که هم وقت میبره هم محاسبه. روی یه workstation با دو کارت RTX Pro 6000 (جمعاً 192 گیگ VRAM) و 128 گیگ RAM، دوازده ایجنت همزمان خوب جواب دادن، ولی با 16 ایجنت throughput یهو افت کرد و 10 تا از 16 کار تموم نشدن. swap صفر بود و CPU حدود 6 درصد، یعنی مشکل فقط RAM بود.
سوال جالبتر اینه که یه کارت ارزون میتونه یه مدل 124 میلیارد پارامتری رو اجرا کنه؟ جواب مثبته، به شرطی که مدل mixture-of-experts (یعنی مدلی که برای هر توکن فقط چند زیرشبکهی «متخصص» رو فعال میکنه، نه کل شبکه رو) باشه. روی Radeon R9700 با 32 گیگ VRAM، فقط حدود 5.5 گیگ VRAM برای بخش فعال مدل لازم شد و حدود 90 گیگ بقیهش تو RAM نشست. نتیجه حدود 38 توکن در ثانیه بود که برای کار واقعی قابل استفادهست.
مقایسهی دو سیستم یه برد و باخت ساده نیست، چون هر کدوم به یه گلوگاه متفاوت خوردن. سیستم دو کارته با 128 گیگ RAM به سقف RAM رسید و 12 ایجنت رو نگه داشت. R9700 با همون 128 گیگ به سقف GPU خورد و فقط 8 ایجنت رو تحمل کرد. ولی وقتی RAM همون R9700 به 256 گیگ رسید، هر 12 ایجنت بدون هیچ بازسازی context تموم شدن و سیستم تا 16 ایجنت همزمان رو با اوج مصرف حدود 150 گیگ نگه داشت. نویسنده تأکید میکنه که سیستم گرون هیچوقت با 256 گیگ تست نشد، پس این ادعای «کارت ارزون برد» نیست.
دو برابر کردن RAM سرعت یه ایجنت تنها رو بالا نبرد، ولی تو یه کار 12 ایجنتی تعداد کارهای تمومشده رو از 2 به 12 رسوند و زمان کل رو از 85 به 59 دقیقه کم کرد. تو سرعت تکایجنت هنوز کارت گرون جلوئه: حدود 63 توکن در ثانیه در برابر 28 تا 29 روی R9700. به گفتهی نویسنده، معامله اینجا سرعت در برابر توانایی به ازای هر دلاره. ایستگاه کاری Halo Station که AMD معرفی کرده هم با تا 2 ترابایت RAM کنار 576 گیگ HBM3 همین منطق رو نشون میده.
نکات کلیدی:
- تو کارهای چندایجنتی، RAM سیستم تعیین میکنه چند ایجنت همزمان تا آخر کار پیش میرن، نه VRAM.
- مدل MoE با 124 میلیارد پارامتر روی Radeon R9700 فقط حدود 5.5 گیگ VRAM لازم داشت و حدود 38 توکن در ثانیه تولید کرد.
- R9700 با 128 گیگ RAM هشت ایجنت رو نگه داشت و با 256 گیگ به 16 ایجنت رسید.
- دو کارت RTX Pro 6000 با 128 گیگ RAM دوازده ایجنت رو نگه داشت و با 16 ایجنت از کار افتاد.
- تو سرعت تکایجنت، RTX Pro 6000 حدود 63 توکن در ثانیه زد و R9700 حدود 28 تا 29.




