برای اجرای چند ایجنت AI، رم سیستم مهمتر از VRAMه
خلاصهٔ کاملتر
تو این مقاله یه تست روی ورکاستیشن Threadripper Pro 9975WX گزارش شده که نتیجهش اینه: برای اجرای همزمان چند ایجنت AI، اونی که سقف رو تعیین میکنه رم سیستمه، نه VRAM (یعنی حافظهی داخل کارت گرافیک). وزنهای مدل روی GPU میشینن، ولی خود ایجنت یعنی تاریخچهی گفتگو، tool callها، state بین نوبتها و context که مدام بزرگتر میشه، همه تو رم سیستم نگه داشته میشن.
نویسنده میگه VRAM همیشه تیتر اول مشخصات بوده چون خیلی سریعتره، و برای اجرای یه مدل تنها هم این منطقیه. ولی بار کاری ایجنتی فرق داره: ایجنت یه پروسهی در حال اجراست که باید وضعیتش رو بین درخواستها یه جا پارک کنه، و اون جا رم سیستمه. پس GPU محاسبه رو انجام میده و رم، خود ایجنتها رو نگه میداره.
تو تست، تعداد زیادی ایجنت کدنویسی واقعی همزمان روی یه مدل اجرا شدن. با دو کارت RTX Pro 6000 (جمعاً 192GB VRAM) و 128GB رم، ۸ ایجنت بیمشکل اجرا شدن، ولی با ۱۲ ایجنت ۱۰ تاشون شکست خوردن و گفتگوها ۳۰ بار از رم بیرون انداخته شدن و از اول ساخته شدن. با ۱۶ ایجنت هم throughput کلاً سقوط کرد. جالب اینکه swap روی GPU صفر بود و مصرف CPU حدود ۶٪؛ یعنی نه GPU و نه CPU تحت فشار نبودن.
وقتی فقط رم به 256GB رسید، هر ۱۲ ایجنت بدون حتی یه بار بازسازی تموم شدن و کار بهجای ۸۵ دقیقه، ۵۹ دقیقه طول کشید. ۱۶ ایجنت هم بیخطا اجرا شدن و مصرف رم به حدود 150GB رسید. سرعت هر ایجنت تقریباً همون ۷ توکن بر ثانیه موند؛ فقط سیستم دیگه وقتش رو صرف بازسازی context گمشده نمیکرد.
بعد دو کارت گرون رو با یه Radeon R9700 حدوداً ۲۰۰۰ دلاری با فقط 32GB VRAM عوض کردن. با این حال یه مدل ۱۲۴ میلیارد پارامتری با context ۱۳۱ هزار توکنی اجرا شد: فقط حدود 5.5GB روی GPU بود و حدود 90GB به رم منتقل شد، و سرعت حدود ۳۸ توکن بر ثانیه بود. دلیلش اینه که مدل mixture-of-experts بود، یعنی برای هر توکن فقط بخش کوچیکی از پارامترها فعال میشن. این کارت با 128GB رم تو ۱۲ ایجنت به مشکل خورد، ولی با 256GB رم ۱۶ ایجنت رو بیخطا اجرا کرد.
نتیجهی نویسنده اینه که VRAM سرعت هر ایجنت و تعداد مسیرهای زنده روی GPU رو تعیین میکنه، و رم تعیین میکنه چه مدلی اصلاً لود میشه و چند session همزمان نگه داشته میشن. به گفتهی مقاله، ورکاستیشن Halo Station شرکت AMD که برای ۲۰۲۷ اعلام شده، 576GB حافظهی HBM3 گرافیکی رو با تا 2TB رم سیستم کنار هم گذاشته، یعنی نسبت حدوداً ۴ به ۱. برای چت یا ساخت عکس تکی هنوز VRAM عدد اصلیه، ولی برای اجرای چند ایجنت کدنویسی، قبل از خرید اول رم رو چک کن.
نکات کلیدی:
- با 128GB رم و 192GB VRAM، از ۱۲ ایجنت همزمان ۱۰ تا شکست خوردن و ۳۰ بار context بازسازی شد
- با 256GB رم، ۱۶ ایجنت بدون خطا اجرا شدن و کار ۱۲ ایجنتی از ۸۵ به ۵۹ دقیقه رسید
- مصرف CPU حدود ۶٪ و swap روی GPU صفر بود؛ گلوگاه فقط رم بود
- کارت Radeon R9700 با 32GB VRAM یه مدل MoE ۱۲۴ میلیارد پارامتری رو با حدود ۳۸ توکن بر ثانیه اجرا کرد
- AMD Halo Station: حافظهی 576GB HBM3 در کنار تا 2TB رم سیستم




