داخل Prometheus: ابرکلاستر گیگاواتی متا برای آموزش مدل‌های هوش مصنوعی
هوش مصنوعیخلاصهٔ کامل‌تر
متا تو یه پست مهندسی، داخل Prometheus رو نشون داده؛ ابرکلاستر گیگاواتی‌ش تو New Albany اوهایو. ابرکلاستر یعنی صدها هزار GPU تو چند ساختمون که با فیبر به هم وصلن و مثل یه ماشین واحد کار می‌کنن. فاز اولش تموم شده و مدل‌های Muse، از جمله Muse Wonder، روش آموزش دیدن. هدف اینه که در نهایت به حدود ۱ میلیون GPU برسه.
سخت‌افزار فعلاً دو پلتفرم NVIDIA داره که هر دو روی معماری NVL72 هستن، یعنی ۷۲ تا GPU که با NVLink مثل یه شتاب‌دهنده‌ی واحد کار می‌کنن. اولی Catalina روی GB200 هست؛ متا نسخه‌ی Ariel رو انتخاب کرده تا هر GPU زودتر از بقیه‌ی صنعت ۸۰۰ گیگابیت پهنای باند به بیرون رک داشته باشه. دومی Clemente روی GB300 هست: حافظه‌ی HBM هر GPU از ۱۹۲ به ۲۸۸ گیگابایت رسیده، کل ۷۲ GPU تو یه رک جا می‌شن و حدود ۵ تا ۱۰ درصد سریع‌تره.
برای شبکه، متا کنار شبکه‌ی معمولی دیتاسنتر یه شبکه‌ی جدا به اسم Back-End داره که فقط برای ارتباط مستقیم GPU به GPU هست. هر fabric داخل یه ساختمون تا ۲۰,۷۳۶ GPU رو به هم وصل می‌کنه و شبکه‌ی BAG ساختمون‌ها رو تو فاصله‌ی ۲ تا بیشتر از ۱۰۰ کیلومتر به هم می‌چسبونه. به گفته‌ی متا، کل این شبکه میلیون‌ها مایل فیبر، ده‌ها هزار سوییچ و میلیون‌ها ماژول نوری داره.
اصل ماجرا پایداریه. اواسط ۲۰۲۵ نرخ وقفه‌ها به نزدیک ۱۰۰۰ مورد در روز به ازای هر ۸ هزار GPU رسیده بود و متا می‌گه با یه سال کار این عدد رو ۹۹ درصد پایین آورده. الان MTBI (یعنی میانگین زمان بین دو وقفه) بیشتر از ۵۴ هزار ساعت GPU هست و هدف حدود ۱۰۰ هزار ساعته. goodput، یعنی سهم زمانی که واقعاً صرف آموزش مفید میشه، تو pre-training بالای ۸۵ و تو RL بالای ۹۰ درصد بوده.
یه ترفند جالب: تو هر رک ۷۲تایی فقط ۶۴ GPU کار می‌کنن و ۸ تا یدک می‌مونن، چون موازی‌سازی با گروه‌های توان دو بهتر جواب می‌ده. اگه یه GPU خراب بشه، یدک فوری جاش رو می‌گیره و آموزش از آخرین checkpoint ادامه پیدا می‌کنه. برای نوسان‌های ۳۰ تا ۴۰ درصدی مصرف برق هم سیستمی به اسم Dynamo Dimmer ساختن که به‌جای قطع کار، سقف توان GPUها رو آروم پایین میاره.
قدم بعدی اضافه کردن پلتفرم San Miguel بر پایه‌ی Vera Rubin NVL72 هست که به گفته‌ی متا ۱۰ تا ۲۰ درصد کارایی بیشتری به ازای هر وات نسبت به GB300 داره. ابرکلاستر بعدی متا به اسم Hyperion تو لوئیزیانا هم از اول با درس‌های Prometheus طراحی میشه.
نکات کلیدی:
- Prometheus الان صدها هزار GPU داره و قراره به حدود ۱ میلیون برسه.
- GB300 حافظه‌ی هر GPU رو از ۱۹۲ به ۲۸۸ گیگابایت بالا برده.
- نرخ وقفه‌های آموزش تو یه سال ۹۹ درصد کم شده و MTBI از ۵۴ هزار ساعت GPU گذشته.
- هر رک NVL72 با ۶۴ GPU فعال و ۸ GPU یدک کار می‌کنه.
- شبکه‌ی BAG ساختمون‌هایی با فاصله‌ی تا بیشتر از ۱۰۰ کیلومتر رو به هم وصل می‌کنه.
