آمازون به مهندسهاش گفت CPU کمتر هدر بدن
هوش مصنوعیخلاصهٔ کاملتر
به گزارش The Information، آمازون وب سرویس ماه می با مهندسهای داخلیش جلسه گذاشته و ازشون خواسته «هدررفت CPU» رو کم کنن تا ظرفیت EC2 برای مشتریها کافی بمونه. مهندسها میگن جایی که قبلاً چند ساعته اینستنس میگرفتن، حالا باید روزها صبر کنن؛ یکیشون گفته تو چند سال کار تو آمازون هیچوقت اینقدر معطل نشده.
دلیلش تغییر شکل بار کاری هوش مصنوعیه. زیرساخت فعلی حول اینفرنس ساخته شده که با GPU شتاب میگیره و CPU فقط GPU رو سیر نگه میداشت؛ برای همین نسبت مرسوم هشتبهیک یا چهاربهیک بود. ولی بار کاری ایجنتی پیچیدهتره: فراخوانی ابزارها روی CPU اجرا میشه و ارکستراسیون هم سنگینتره، پس نسبت GPU به CPU داره به یکبهیک نزدیک میشه.
همین موج ایجنتی جاهای دیگه هم غافلگیری هزینهای ساخته: ماه گذشته یه ایجنت کدنویسی تو آمازون برای یه کار ساده حدود ۱.۸ میلیون دلار توکن سوزوند و ۸۶۰ درصد از بودجهٔ توسعه زد بالا.
سازندهها هم دارن از این تقاضا استفاده میکنن. AMD خانوادهٔ Zen 6 با اسم رمز Venice رو برای دیتاسنتر رونمایی کرده — برای اولین بار بعد از چند دهه، معماری جدیدش زودتر از بازار کلاینت به سرور رسیده. انویدیا هم پیامش رو از شتابدهندهها به سمت CPU جدیدش Vera برده. خود آمازون هم Graviton5 رو داره؛ قویترین پردازندهٔ مبتنی بر Arm که تا حالا ساخته.
دو تا نکتهٔ محدودکننده هم هست: طبق همون گزارش، کمبود بیشتر به اینستنسهای spot مربوطه و ظرفیت قراردادی مشکلی نداشته. آمازون هم بعد از انتشار خبر واکنش نشون داد و گفت این روایت اغراقشدهست؛ به گفتهٔ سخنگوی AWS پسگرفتن اینستنسهای بیکار و right-sizing همیشه بخشی از کارشون بوده و نشونهٔ محدودیت تازهٔ ظرفیت نیست.
نکات کلیدی:
- آمازون از مهندسهای داخلیش خواسته مصرف بیاستفادهٔ CPU روی EC2 رو کم کنن
- انتظار برای گرفتن اینستنس از چند ساعت به چند روز رسیده
- بار کاری ایجنتی برخلاف اینفرنس به CPU وابستهست و نسبت GPU به CPU رو به یکبهیک میبره
- AMD با Venice، انویدیا با Vera و آمازون با Graviton5 دنبال همین بازارن
- کمبود عمدتاً روی اینستنسهای spot گزارش شده و AWS کلاً روایت کمبود ظرفیت رو رد میکنه
