‏TPUهای گوگل به Oracle Cloud میان

طبق پستی که مدیرهای اوراکل تو بلاگ گوگل کلاد نوشتن، اوراکل و گوگل کلاد دارن با هم همکاری می‌کنن تا TPU (یعنی تراشه‌هایی که گوگل مخصوص کارهای هوش مصنوعی ساخته) رو به Oracle Cloud Infrastructure (OCI) بیارن. با این کار OCI اولین hyperscaler (یعنی ارائه‌دهندهٔ ابری خیلی بزرگ) بیرون از خود گوگله که TPU ارائه می‌ده. ظرفیت TPU روی OCI از سال ۲۰۲۷ راه می‌افته.

گوگل بیشتر از ده سال پیش اولین TPU رو ساخت، با این فکر که اگه تراشه، شبکهٔ نوری، برق، خنک‌کنندهٔ مایع و کامپایلر رو با هم طراحی کنی، بازدهی‌ای می‌گیری که قطعه‌های جدا از هم نمی‌دن. TPU v1 حدود ۳۰ برابر پردازنده‌های هم‌دوره‌ش به ازای هر وات توان داشت. نسل هشتم TPU تا 12.6 PFLOPS محاسبهٔ FP4 روی هر تراشه می‌ده که بیشتر از ۱۰۰ برابر ۹۲ TFLOPS نسخهٔ اوله، با تا ۲ برابر کارایی به ازای هر وات نسبت به نسل قبل.

نویسنده‌ها می‌گن FLOPS خام همه‌چی نیست. برای آموزش مدل، معیار اصلی goodput هست، یعنی درصد زمانی که کلاستر واقعاً داره کار مفید انجام می‌ده. برای inference هم تأخیر و هزینه به ازای هر توکن مهمه. TPU با ترکیب مسیریابی ICI (اتصال مستقیم بین تراشه‌ها) و OCS (سوئیچ‌های نوری) خرابی‌های سخت‌افزار یا لینک رو تشخیص می‌ده و بدون ری‌استارت کردن کار، مسیر رو دورشون عوض می‌کنه. اینطوری روی هزاران تراشه بیشتر از ۹۷٪ goodput نگه می‌داره.

نسل جدید SRAM و HBM بیشتری داره و یه توپولوژی شبکهٔ تازه که تعداد پرش‌های شبکه رو بیشتر از ۵۰٪ کم می‌کنه. نتیجه‌ش تا ۸۰٪ کارایی بهتر به ازای هر دلار برای سرویس‌دهی کم‌تأخیره. از طرف نرم‌افزار هم TorchTPU (استک بومی PyTorch برای TPU) متن‌باز شده و می‌شه با ابزارهایی مثل vLLM، SGLang، llm-d، TorchTitan، Ray و Hugging Face روی TPU مدل آموزش داد و سرو کرد، بدون اینکه کد مدل رو از نو بنویسی.

به گفتهٔ نویسنده‌ها، آوردن TPU به OCI چهار تا مزیت داره: دیتاسنترهای نسل جدید اوراکل برای خنک‌کنندهٔ مایع در سطح رک ساخته شدن؛ شبکهٔ Oracle Acceleron با SmartNIC و جداسازی سخت‌افزاری مشتری‌ها، TPUها رو به دیتابیس و استوریج OCI وصل می‌کنه؛ مشتری‌ها می‌تونن fine-tuning و inference رو کنار داده‌های اوراکلی‌شون انجام بدن و هزینهٔ جابه‌جایی داده بین ابرها رو ندن؛ و در کنار GPUها، حالا TPU هم یه گزینه‌ست.

نکات کلیدی:

• OCI اولین hyperscaler غیرگوگلیه که TPU ارائه می‌ده و استقرارش از سال ۲۰۲۷ شروع می‌شه.
• نسل هشتم TPU تا 12.6 PFLOPS محاسبهٔ FP4 روی هر تراشه داره.
• ترکیب ICI و OCS روی آموزش‌های بزرگ بیشتر از ۹۷٪ goodput نگه می‌داره.
• توپولوژی جدید پرش‌های شبکه رو بیشتر از ۵۰٪ کم می‌کنه و تا ۸۰٪ کارایی بهتر به ازای هر دلار می‌ده.
• TorchTPU متن‌باز شده و با vLLM، SGLang، Ray و Hugging Face کار می‌کنه.
• اجرای مدل کنار دیتابیس‌های اوراکل یعنی دیگه لازم نیست داده بین ابرها جابه‌جا بشه.