Jalapeño: تراشهٔ inference اوپن‌ای‌آی چطور ساخته شد
هوش مصنوعیخلاصهٔ کامل‌تر
تای کیم تو این مصاحبه با ریچارد هو، معاون سخت‌افزار OpenAI و سرپرست تیم تراشهٔ Jalapeño، حرف زده. هو قبلاً اولین مهندس پروژهٔ TPU گوگل بوده. اوپن‌ای‌آی اواخر آگوست Jalapeño رو تو Hot Chips معرفی کرد و طبق بنچمارک‌های SemiAnalysis InferenceX، روی مدل‌هایی مثل GPT-OSS، DeepSeek R1 و Kimi K2.5 از نظر کارایی به ازای هر وات از رقبا، از جمله Blackwell انویدیا، بهتر بود. البته با اومدن سیستم‌های Vera Rubin رتبه‌بندی ممکنه عوض بشه.
هو می‌گه بهرهٔ انرژی در نهایت یعنی کم کردن جابه‌جایی داده. تو GPU یا CPU معمولی کل حافظه یه فضای آدرس مشترک داره؛ برنامه‌نویسی راحته ولی مدیریت و همگام نگه داشتن این حافظهٔ مشترک کلی سربار سخت‌افزاری داره. تو Jalapeño هر کدوم از ۶۴ هسته مستقیم به بانک HBM خودش وصله و برای رسیدن به حافظهٔ بقیه باید از یه شبکهٔ کندتر رد بشه. یعنی سریع‌تر و کم‌مصرف‌تره، ولی مدیریت حافظه سخت‌تر میشه.
به گفتهٔ هو، تیمش شرط بسته بود که مدل‌های هوش مصنوعی تو همین مدیریت حافظه خوب بشن، و شدن. اونا راهی پیدا کردن که هر LLMی رو طوری تیکه کنن که هر بخش تو حافظهٔ هستهٔ خودش بشینه. نتیجه اینه که بخش‌های چیپ کمتر بیکار می‌مونن. به گفتهٔ هو، روش‌های قدیمی تو prefill (پردازش اولیهٔ ورودی) کمبود محاسبه داشتن و تو decode (تولید توکن به توکن) کمبود پهنای باند حافظه. پس با اینکه اعداد اسمی Jalapeño شبیه رقباست، بهره‌وری بالاش تو بنچمارک واقعی جلوش می‌ندازه.
اونا عمداً disaggregation نکردن، یعنی سخت‌افزار جدا برای prefill و decode نذاشتن، چون اون‌جوری باید سال‌ها از قبل تعهد بدی چه سهمی از دیتاسنتر برای کدوم کار باشه. HBM4 رو هم به جای SRAM انتخاب کردن: SRAM پهنای باند زیادی داره ولی ظرفیتش محدوده و مدل‌های اوپن‌ای‌آی خیلی بزرگن. هو می‌گه نوآوری آینده جایی هست که طراحی حافظه و interconnect به هم می‌رسن، و تیمش الان روی نسل دوم تا چهارم کار می‌کنه.
طراحی تو نه ماه به tapeout (یعنی تحویل نهایی طرح برای ساخت) رسید. به گفتهٔ هو، ایجنت‌ها ده‌ها هزار اجرای موازی برای بهینه‌سازی توان، کارایی و مساحت تراشه انجام دادن و راه‌هایی پیدا کردن که به ذهن مهندس‌ها نمی‌رسید. کل تیم حدود ۱۰۰ نفره و از طراحی چیپ تا رک و زنجیرهٔ تأمین و نرم‌افزار رو پوشش می‌ده. هو معتقده سرعت نوآوری به سرعت چرخهٔ تکرار بستگی داره. در مورد انتخاب تراشه هم می‌گه آموزش تقریباً کامل روی GPUهای انویدیاست و برای inference هر ظرفیتی، چه انویدیا چه AMD چه تراشهٔ خودشون، به کار میاد.
نکات کلیدی:
- Jalapeño ۶۴ هسته داره که هر کدوم به بانک HBM4 اختصاصی خودش وصله
- تو بنچمارک SemiAnalysis InferenceX تو کارایی به ازای هر وات از Blackwell جلو زده
- طراحی تو ۹ ماه به tapeout رسید و تیم کل پروژه حدود ۱۰۰ نفره
- اوپن‌ای‌آی عمداً سخت‌افزار جدا برای prefill و decode نساخته
- آموزش مدل‌ها تقریباً کامل روی GPUهای انویدیا انجام میشه
- کار روی نسل‌های دوم، سوم و چهارم شروع شده، با چرخه‌ای نزدیک به سالانه ولی نه لزوماً سالانه
