‏Minions اپل: مک‌های بیکار تبدیل به ابر GPU شدن

اپل یه سیستم داخلی به اسم Minions ساخته که GPUهای بیکار مک‌های شرکت رو جمع می‌کنه و ازشون برای کارهای inference هوش مصنوعی استفاده می‌کنه (inference یعنی اجرای یه مدل آماده روی داده‌ی جدید، نه آموزش دادنش). پژوهشگرهای اپل تو مقاله‌شون اونو یه «ابر GPU مجازی، پویا و توزیع‌شده» توصیف می‌کنن که GPUهای Apple Silicon رو روی دستگاه‌های macOS کنار هم می‌ذاره.

به گفته‌ی اپل، قبل از Minions بعضی کارهای inference به خاطر کمبود GPU مرکزی بیشتر از ده ساعت تو صف می‌موندن. حالا با استفاده از مک‌های بیکار، این کارها معمولا تو چند دقیقه شروع می‌شن. یعنی تیم‌ها لازم نیست منتظر سخت‌افزار مرکزی بمونن.

این با قابلیت کلاستر کردن Mac mini و Mac Studio فرق داره. اون قابلیت با RDMA روی Thunderbolt 5 (یعنی دسترسی مستقیم یه دستگاه به حافظه‌ی دستگاه دیگه) حافظه و قدرت چند مک رو برای یه کار واحد یکی می‌کنه، مثلا برای اجرای مدلی که تو یه مک جا نمی‌شه. اما طبق گزارش The Register، هدف Minions بیشتر پخش کردن منابع بیکار بین تیم‌هاست و یه استخر مقاوم در برابر خطا از workerها می‌سازه.

سیستم چهار بخش اصلی داره. Minion Server درخواست‌ها رو می‌گیره و به زیرکارها تقسیم می‌کنه. Minion Executor کار رو روی GPU یه مک اجرا می‌کنه، نتیجه رو روی S3 می‌ذاره و وضعیت رو به سرور گزارش می‌ده. اطلاعات کارها تو PostgreSQL نگه داشته می‌شه و Minion Watchdog هم خرابی‌ها رو زیر نظر داره و اگه یه مک جواب نده، کارش رو به یکی دیگه می‌سپره. آمار هم روی داشبوردهای Grafana نمایش داده می‌شه.

نویسنده تأکید می‌کنه رویکرد اپل با یه کلاستر Nvidia فرق داره. کلاستر Nvidia روی throughput، latency و استفاده‌ی بهینه از GPU برای مدل‌های بزرگ تمرکز داره، ولی Minions روی در دسترس بودن سخت‌افزار و استفاده از ظرفیت بیکار.

نکات کلیدی:

• Minions سیستم داخلی اپل برای جمع کردن GPUهای بیکار مک‌ها و اجرای inference هست
• زمان انتظار بعضی کارها از بیشتر از ۱۰ ساعت به چند دقیقه رسیده
• چهار بخش داره: Minion Server، PostgreSQL Metadata Store، Minion Executor و Minion Watchdog
• نتیجه‌ها روی S3 ذخیره می‌شن و آمار روی Grafana نمایش داده می‌شه
• هدفش استفاده از ظرفیت بیکاره، نه اجرای مدل‌های خیلی بزرگ مثل کلاسترهای Nvidia