AMD تالاس رو خرید تا مدلها رو روی چیپ حک کنه
هوش مصنوعیخلاصهٔ کاملتر
AMD پنجشنبه بعد از بسته شدن بازار اعلام کرد استارتاپ تالاس (Taalas) رو خریده؛ شرکتی که سال ۲۰۲۳ تو تورنتو راه افتاده. رویکرد تالاس با GPUهای معمولی و معماریهای دیتافلو مثل LPU گروک یا شتابدهندههای ویفرمقیاس Cerebras فرق اساسی داره: وزنهای مدل بهجای اینکه تو حافظهٔ HBM بشینن، مستقیم روی خود سیلیکون حک میشن. یعنی محصول تالاس عملاً یه مدار مجتمع مخصوص یک مدل یا MSIC هست.
تو این گزارش اومده که این فناوری فقط روی کاغذ نیست. تالاس فوریهٔ امسال اولین چیپ آزمایشیش یعنی HC1 رو با فرایند ۶ نانومتری TSMC رونمایی کرد و اون چیپ مدل Llama 3.1 8B رو با ۱۶٬۹۶۰ توکن در ثانیه سرو کرد — موقع اعلام، ۴۸ برابر سریعتر از GPUهای انویدیا و ۸.۵ برابر سریعتر از شتابدهندههای Cerebras. شرکت دربارهٔ جزئیات خیلی بسته عمل کرده، ولی میدونیم چیپ دو بخش داره: بخش mask-ROM که وزنها توش حک میشن و بخش SRAM که KV cache و آداپترهای فاینتیون رو نگه میداره.
نسل دوم یعنی HC2 که امسال قراره بیاد، ظرفیتش میره روی ۲۰ میلیارد پارامتر. عدد بزرگی به نظر نمیرسه، ولی مثل GPUها وزنها با موازیسازی خط لوله بین چند شتابدهنده پخش میشن؛ با این حساب یه مدل تریلیونپارامتری فقط ۵۰ تا شتابدهنده میخواد. نویسنده میگه AMD احتمالاً رکهای Helios مبتنی بر Instinct رو با چیپهای تالاس جفت میکنه، یعنی معماری تفکیکشدهای که پردازش پرامپت روی GPU انجام میشه و تولید توکن میره روی شتابدهندههای تالاس.
ایراد بزرگ ماجرا هم همینجاست: وقتی چیپ ساخته شد، دیگه به همون مدل چسبیدی. هر تغییری بزرگتر از یه آداپتر LoRA یعنی باید چیپ رو دوباره اسپین کرد که هم گرونه هم زمانبر. به گفتهٔ خود تالاس اوضاع اونقدرها هم بد نیست، چون برای نسخهٔ جدید لازم نیست از صفر شروع کنی و فقط دو لایه فلز عوض میشه.
نویسنده معتقده مشتری اصلی این فناوری خود مدلسازها و ارائهدهندههای اینفرنس هستن — OpenAI، Anthropic و Meta همگی مشتری بزرگ Instinct هستن. یه پیامد جالب دیگه هم داره: اگه هزینهٔ هر توکن بیاد پایین و سرعت ۱۰ تا ۲۰ برابر بشه، سازندههای مدل میتونن زمان «فکر کردن» مدل (test-time scaling) رو بیشتر کنن تا خطا و توهم کمتر بشه. معامله منوط به تأیید نهادهای ناظره و انتظار میره تو فصل چهارم بسته بشه.
نکات کلیدی:
- AMD استارتاپ تالاس رو خرید؛ رقم معامله اعلام نشده و بستنش به فصل چهارم موکول شده
- تالاس وزنهای مدل رو بهجای HBM مستقیم روی سیلیکون حک میکنه؛ یه جور مدار مجتمع مخصوص یک مدل
- چیپ آزمایشی HC1 روی ۶ نانومتر TSMC، مدل Llama 3.1 8B رو با ۱۶٬۹۶۰ توکن در ثانیه سرو کرد
- نسل بعدی HC2 تا ۲۰ میلیارد پارامتر میره؛ یه مدل تریلیونپارامتری با ۵۰ شتابدهنده جواب میده
- عیبش قفل شدن روی یک مدله؛ برای مدل جدید باید دو لایه فلز چیپ دوباره اسپین بشه
