۱۰۰ میلیون کاربر Muse چقدر زیرساخت می‌خواد؟
هوش مصنوعیخلاصهٔ کامل‌تر
نویسنده تو Robonomics سعی کرده با اعداد عمومی حساب کنه که اگه Muse (ایجنت ابری متا که برای هر کاربر یه کامپیوتر مجازی جدا بالا می‌آره) بخواد به ۱۰۰ میلیون کاربر روزانه سرویس بده، چقدر سخت‌افزار و برق لازم داره. به گفتهٔ نویسنده جواب تقریبی اینه: ۱ تا ۲ گیگاوات برق میانگین در حالت پایه، که از این مقدار فقط حدود ۰.۱ گیگاوات مال لایهٔ VM و سندباکسه.
مهم‌ترین نکته‌ای که نویسنده روش دست می‌گذاره اینه که ۱۰۰ میلیون کاربر روزانه یعنی ۱۰۰ میلیون ماشین مجازی فعال هم‌زمان نیست. اگه هر کاربر روزی دو ساعت ایجنتش کار کنه، میانگین میشه حدود ۸ میلیون VM فعال؛ با ضریب اوج ۲.۵ برابر و ۲۰ درصد ظرفیت اضافه می‌رسیم به حدود ۲۵ میلیون VM زنده. یعنی متا باید برای هم‌زمان بودن حدود ۲۵ درصد کاربرها ظرفیت بچینه، نه ۱۰۰ درصد.
تفاوت دوم بین vCPU تخصیص‌داده‌شده و CPU فیزیکی واقعیه. سندباکس ایجنت بیشتر وقتش منتظره، پس میشه CPU رو شدید oversubscribe کرد، یعنی چند VM رو روی یه هستهٔ فیزیکی سوار کنی. نویسنده مقالهٔ DSec دیپ‌سیک رو به عنوان مرجع می‌آره: حدود ۳۰ هزار هستهٔ فیزیکی و ۲۵۰ ترابایت DRAM روی حدود ۱۶۰ نود، با اوج هم‌زمانی بالای ۳۸۰ هزار سندباکس و ۸۰۰ microVM روی هر نود، یعنی حدود ۰.۲۳ هستهٔ فیزیکی برای هر VM زنده.
نویسنده برای Muse محافظه‌کارانه‌تر حساب می‌کنه: ۰.۵ هستهٔ فیزیکی برای هر VM زنده، یعنی دو VM زنده روی هر هسته. ۲۵ میلیون VM ضرب در ۰.۵ میشه ۱۲.۵ میلیون هستهٔ فیزیکی؛ روی CPUهای ۲۵۶ هسته‌ای حدود ۵۰ هزار پردازنده و با قیمت عمومی امروز حدود ۸۰۰ میلیون دلار. حافظه سخت‌تر oversubscribe میشه، ولی یه نمونهٔ واقعی Muse از ۸ گیگ رم فقط ۳ گیگ مصرف می‌کرد، پس ۷۵ تا ۱۰۰ پتابایت DRAM یا حدود ۲ میلیارد دلار.
بخش دوم ماجرا inference هست، یعنی همون اجرای مدل برای جواب دادن به هر درخواست، که بیرون از سندباکس و روی زیرساخت جدای متا انجام میشه. بر اساس مطالعهٔ ۲۰۲۶ مایکروسافت، یه کوئری معمولی حدود ۰.۳۱ وات‌ساعت و یه کوئری استدلالی طولانی حدود ۴ وات‌ساعت برق می‌بره. نویسنده برای Muse بازهٔ ۵ تا ۱۰ وات‌ساعت به ازای هر رویداد سنگین رو فرض می‌کنه: با ۵۰ رویداد در روز برای هر کاربر میشه ۲۵ گیگاوات‌ساعت در روز، یعنی حدود ۱ گیگاوات برق میانگین.
جمع‌بندی نویسنده اینه که ایجنت‌های مصرفی یه منبع تقاضای تازه برای CPU و DRAM معمولی‌اند، ولی گلوگاه واقعی همون inference می‌مونه. با این حساب یه Muse سه تا چهار گیگاواتی هم کاملاً محتمله و شاید همین پشت شایعهٔ اضافه کردن ۷ تا ۱۰ گیگاوات ظرفیت متا در سال آینده باشه. هرچی ایجنت‌ها طولانی‌تر کار کنن و ایجنت‌های دیگه بسازن، تقاضای inference سریع‌تر از تعداد کاربرها رشد می‌کنه.
نکات کلیدی:
- حالت پایه: ۱ تا ۲ گیگاوات برق میانگین برای ۱۰۰ میلیون کاربر روزانه Muse، که فقط ۰.۱ گیگاواتش لایهٔ سندباکسه.
- هر کاربر Muse حدود ۲ vCPU، ۸ گیگابایت رم و ۱۰۰ گیگابایت استوریج می‌گیره، ولی یه نمونهٔ مشاهده‌شده فقط ۳ گیگ رم مصرف می‌کرد.
- فرض ۲۵ میلیون VM زنده با ۰.۵ هستهٔ فیزیکی هر کدوم میشه ۱۲.۵ میلیون هسته، حدود ۵۰ هزار CPU ۲۵۶ هسته‌ای و نزدیک ۸۰۰ میلیون دلار.
- DRAM لایهٔ سندباکس ۷۵ تا ۱۰۰ پتابایت، حدود ۲ میلیارد دلار.
- پلتفرم DSec دیپ‌سیک با ۸۰۰ microVM روی هر نود به ۰.۲۳ هستهٔ فیزیکی برای هر سندباکس زنده رسیده.
- مطالعهٔ مایکروسافت: ۰.۳۱ وات‌ساعت برای یه کوئری معمولی و حدود ۴ وات‌ساعت برای کوئری استدلالی طولانی.
