Z1 اکستروپیک: تراشه‌ای که با احتمال حساب می‌کنه
هوش مصنوعیخلاصهٔ کامل‌تر
تو این مقاله اومده که اکستروپیک داره تراشه‌ای می‌سازه که به‌جای منطق دودویی سفت‌وسخت، با احتمال حساب می‌کنه. واحد پایه‌ش p-bit هست (یعنی بیتی که به‌جای قفل شدن روی صفر یا یک، از نویز الکتریکی خود تراشه به‌عنوان منبع تصادفی استفاده می‌کنه). استدلال شرکت اینه که مدل‌های هوش مصنوعی ذاتاً احتمالاتی‌ان، پس سخت‌افزاری که زبونش احتماله بهتر جواب می‌ده تا سخت‌افزاری که برای ریاضی دقیق ساخته شده.
فرق اصلی با GPU سر سیم‌کشیه. تو GPU هر واحد می‌تونه با همه‌جای تراشه حرف بزنه و همین جابه‌جایی داده کلی برق می‌خوره. تو Z1 هر p-bit فقط به ۱۶ همسایه‌ش وصله. این پراکندگی هم کل منبع صرفه‌جویی انرژیه، هم کل محدودیت: مدل‌های معمولی روی این سیم‌کشی جا نمی‌گیرن. برای همین اکستروپیک اجزای ترنسفورمر مثل attention و normalization رو به بلوک‌های کوچیک و محلی شکسته تا مدل با تراشه جور دربیاد، نه برعکس.
صادقانه‌ترین بخش ماجرا اینجاست: طبق بنچمارک خود اکستروپیک، مدل‌های پراکنده برای رسیدن به کیفیت GPT-2 حدود ۱۰ برابر محاسبه بیشتری لازم دارن. یعنی کل برد انرژی وابسته‌ست به اینکه برق هر عملیات روی Z1 کسر کوچیکی از GPU باشه. نویسنده می‌گه این یه شرط‌بندی واقعیه ولی هنوز اثبات‌نشده، چون تراشه دست محقق‌ها نیست. یه نکته مثبت هم هست: مطالعه‌ای منتشر شده که نشون می‌ده خطا با بیشتر شدن محاسبه، نرم و قابل‌پیش‌بینی پایین می‌آد.
محدودیت‌ها هم کم نیستن. تو ستاپ فعلی یه تراشه کمکی معمولی بیشتر کار رو انجام می‌ده و بالای ۹۵٪ کل انرژی سیستم رو می‌خوره، پس مزیت p-bit هنوز تو عمل خودش رو نشون نداده. سخت‌افزار واقعی هم قبل از ۲۰۲۷ انتظار نمی‌ره، پس هر عدد بازدهی که الان می‌بینین پیش‌بینیه نه اندازه‌گیری. وزن‌های Z1T0 روی Hugging Face و کد آموزشش روی GitHub اومده، ولی فقط برای آموزش مدل پراکنده‌ست و باهاش نمی‌شه چت کرد.
نکات کلیدی:
- هر p-bit فقط به ۱۶ واحد همسایه وصله و همین پراکندگی، تنها منبع صرفه‌جویی انرژیه
- مدل‌های پراکنده برای کیفیت هم‌سطح GPT-2 حدود ۱۰ برابر محاسبه بیشتر لازم دارن
- تراشه کمکی معمولی الان بالای ۹۵٪ انرژی کل سیستم رو مصرف می‌کنه
- وزن‌های Z1T0 روی Hugging Face بازه ولی کد اجرای متن‌سازی نداره، فقط کد آموزش
- سخت‌افزار Z1 زودتر از ۲۰۲۷ نمی‌رسه، پس ادعاهای فعلی پیش‌بینی پژوهشی‌ان
