گوگل دو TPU تازه معرفی کرد: TPU 8tx و TPU 8i Max
خلاصهٔ کاملتر
گوگل دو سیستم تازه به خانوادهٔ TPU نسل هشتم (تراشههای اختصاصی گوگل برای آموزش و اجرای مدلهای هوش مصنوعی) اضافه کرده: TPU 8tx و TPU 8i Max. قبلاً تو آوریل TPU 8t برای آموزش و TPU 8i برای استدلال آنی معرفی شده بودن. این اولین باره که گوگل چهار سیستم TPU رو تو یه سال میاره. به گفتهٔ گوگل، TPU الان نزدیک ۱۰۰ مشتری داره، از آزمایشگاههای بزرگ هوش مصنوعی تا شرکتهای معاملاتی و دانشگاهها.
گوگل روی فرق «تراشهٔ جدید» و «سیستم جدید» تأکید میکنه. ساختن تراشه چند سال طول میکشه، ولی سیستم یعنی چیدن حافظه، شبکه و امنیت دور همون تراشه. چون TPUها از اول ماژولار طراحی شدن، گوگل میتونه سیستمهای تخصصی رو تو چند ماه بسازه، نه چند سال. هر دو سیستم جدید هم روی تراشههای موجود ساخته شدن.
TPU 8tx برای confidential computing ساخته شده، یعنی داده حتی وقتی تو حافظه داره پردازش میشه رمزگذاریشده و جدا میمونه. معمولاً داده فقط موقع ذخیره یا ارسال رمز میشه و موقع پردازش باید باز بشه. این سیستم روی همون سیلیکون TPU 8t ساخته شده، با CPUهای نسل پنجم AMD EPYC جفت شده و از شبکهٔ کمتأخیر Boardfly استفاده میکنه. نتیجهش تا ۲ برابر تأخیر کمتر نسبت به TPU 8t هست. یعنی سازمانهای حساس میتونن fine-tune، distillation و آموزش با RL رو روی دادهٔ خصوصی و تو یه سیستم واحد انجام بدن.
TPU 8i Max مشکل «دیوار حافظه» رو هدف گرفته، یعنی وقتی پهنای باند حافظه گلوگاه میشه. این پیش میاد وقتی دهها agent همزمان روی یه codebase کامل یا چند ساعت ویدیو کار میکنن. گوگل دو تراشهٔ TPU 8i رو تو یه بسته گذاشته، پس compute، SRAM و پهنای باند HBM همه دو برابر شدن. چون دو برابر سیلیکون تو همون فضای rack جا میشه، دیتاسنتر به ازای هر متر مربع و هر وات قدرت بیشتری میگیره.
کنار سختافزار، گوگل کلی نرمافزار هم آورده. TorchTPU متنباز شده تا کد PyTorch و مدلهای Hugging Face بدون بازنویسی روی TPU اجرا بشن. TPU Sync حافظهٔ HBM، DRAM میزبان و ذخیرهسازی رو یه لایهٔ واحد میکنه و به گفتهٔ گوگل تأخیر انتقال KV cache و Time to First Token رو بیشتر از ۹۰ درصد کم میکنه. Agent Compute Engine هم sessionهای بیکار agentها رو خودکار متوقف و دوباره اجرا میکنه تا هزینه کم بشه. GKE dynamic slicing هم که حالا در دسترس عمومیه، زمان شروع jobها رو تا ۵ برابر سریعتر میکنه.
نکات کلیدی:
- TPU 8tx روی سیلیکون TPU 8t با CPUهای نسل پنجم AMD EPYC ساخته شده و تا ۲ برابر تأخیر کمتری از TPU 8t داره.
- TPU 8i Max دو تراشهٔ TPU 8i تو یه بستهست و compute، SRAM و پهنای باند HBMش دو برابره.
- TPU 8t و 8i نسبت به نسل قبل تا ۲.۷ برابر آموزش بهتر و ۸۰ درصد قیمتبهکارایی بهتر تو inference دارن.
- TPU Sync تأخیر انتقال KV cache و TTFT رو بیشتر از ۹۰ درصد کم میکنه.
- GKE dynamic slicing زمان شروع job رو تا ۵ برابر و بازیابی خطا رو تا ۴.۵ برابر سریعتر میکنه.
- TorchTPU متنبازه و vLLM و SGLang هم backend آمادهٔ TPU دارن.




