چرا تراشه‌های تخصصی دوباره برگشتن؟
هوش مصنوعیخلاصهٔ کامل‌تر
زین اصغر، هم‌بنیان‌گذار Gimlet Labs، تو این مطلب برای a16z بحث قدیمی تراشهٔ همه‌کاره در برابر تراشهٔ تخصصی رو دوباره باز می‌کنه. سال ۱۹۹۰ گفته می‌شد هیچ‌چی جلوی «killer micros» (یعنی همون میکروپروسسورهای همه‌کاره) دوام نمیاره. و همین هم شد: شرکت‌هایی مثل Thinking Machines، Symbolics و Cray Computer تا ۱۹۹۵ یکی یکی تعطیل شدن، ولی ایده‌هاشون مثل پردازش برداری به شکل SSE و AVX وارد CPUها شد.
به گفتهٔ نویسنده، دلیل برد CPUها یه چرخه بود: همه‌کاره بودن فروش رو بالا می‌برد، فروش بالا پول توسعه و سرعت بیشتر می‌آورد، و سرعت بیشتر کاربردهای جدید باز می‌کرد. از ۱۹۸۶ تا ۲۰۰۳ کارایی تک‌پردازنده سالی بیش از ۵۰ درصد رشد کرد. مثلاً کارت‌های دیکُدر DVD ظرف دو سال منقرض شدن، چون Pentium II خودش می‌تونست ویدیو رو نرم‌افزاری دیکُد کنه.
این «ناهار مجانی» تموم شد. Dennard scaling (یعنی این قاعده که ترانزیستور کوچیک‌تر با همون مصرف برق سریع‌تر کار می‌کنه) حدود ۲۰۰۵ شکست و فرکانس‌ها ثابت موندن. حدود ۲۰۱۲ هم هزینهٔ هر ترانزیستور دیگه پایین نیومد. «memory wall» هم هست: به گفتهٔ David Patterson قدرت محاسباتی GPUهای انویدیا از ۲۰۱۲ تا ۲۰۲۲ هشتاد برابر شد ولی پهنای باند حافظه فقط هفده برابر.
GPU یه بازماندهٔ تخصصی بود که چون بازار گیمینگ داشت، تیراژش بالا بود. وقتی فرکانس‌ها ثابت موندن، معماری موازی‌ش برای یادگیری ماشین عالی از آب دراومد. طبق تحلیل Bill Dally از انویدیا، از جهش هزار برابری inference روی یه GPU، حدود ۱۶ برابرش از فرمت‌های عددی ساده‌تر (مثل FP32 به BF16)، ۱۲.۵ برابر از دستورهای جدید، ۲ برابر از sparsity و فقط ۲.۵ برابر از پیشرفت لیتوگرافی از ۲۸ به ۵ نانومتر اومده.
حالا طبق گزارش Goldman Sachs، تقاضای توکن از ۲۰۲۶ تا ۲۰۳۰ بیست و چهار برابر میشه ولی برق موجود فقط حدود دو برابر. اهرم‌های قبلی هم دارن ته می‌کشن؛ مثلاً زیر ۴ بیت جای زیادی برای کم کردن دقت نمونده. برای همین موجی از تراشه‌های inference راه افتاده. انویدیا با Groq (که حالا LPU انویدیا هست) قرارداد بزرگی بسته؛ تراشه‌ای که حافظهٔ SRAM رو مستقیم کنار واحد محاسبه می‌ذاره، برخلاف GPU که از HBM دورتر استفاده می‌کنه.
نویسنده می‌گه inference یه کار ناهمگنه و هر مرحله‌ش با یه نوع سخت‌افزار بهتر جور میشه، پس پخش کردنش بین GPU، LPU، TPU و بقیه کارایی به ازای هر وات رو خیلی بالا می‌بره (کاری که شرکت خودش انجام می‌ده). به نظرش این دوره چند سال طول می‌کشه و احتمالاً آونگ یه روز دوباره سمت تراشه‌های همه‌کاره برمی‌گرده.
نکات کلیدی:
- Dennard scaling حدود ۲۰۰۵ و کاهش هزینهٔ ترانزیستور حدود ۲۰۱۲ متوقف شد
- از جهش ۱۰۰۰ برابری inference روی GPU فقط ۲.۵ برابرش سهم پیشرفت لیتوگرافی بوده
- تقاضای توکن تا ۲۰۳۰ حدود ۲۴ برابر میشه ولی برق فقط حدود ۲ برابر
- Tensor core سال ۲۰۱۷ و فرمت‌های MXFP4 و NVFP4 سال ۲۰۲۴ به GPU اضافه شدن
- انویدیا حالا inference رو بین GPU و LPU (همون Groq) تقسیم می‌کنه
- نویسنده مدیرعامل Gimlet Labs هست که روی همین تقسیم کار بین تراشه‌ها کار می‌کنه
