NVIDIA پلتفرم Run:ai رو کامل متن‌باز کرد
هوش مصنوعیخلاصهٔ کامل‌تر
NVIDIA کل پلتفرم Run:ai رو متن‌باز کرده و اونو جزو پلتفرم NVIDIA DSX AI Factory قرار داده. Run:ai چند ساله که به سازمان‌ها کمک می‌کنه کارهای هوش مصنوعی رو روی Kubernetes اجرا کنن. کارش اینه که GPUها رو پویا بین کارها پخش کنه و کل چرخهٔ کار رو، از پردازش داده تا آموزش و inference، مدیریت کنه. کد کامل تو GitHub هست و نسخهٔ Community هم با یه Helm chart روی NVIDIA NGC قرار گرفته. این نسخه اشتراک پولی لازم نداره ولی پشتیبانی رسمی NVIDIA هم نداره.
پلتفرم از چهار بخش ساخته شده که هر کدوم جدا هم قابل استفاده‌ست. اولیش KAI Scheduler هست، زمان‌بند اصلی Run:ai که با لایسنس Apache 2.0 منتشر شده و به CNCF هم سپرده شده. این زمان‌بند gang scheduling داره (یعنی یه کار چند podی یا کامل اجرا میشه یا اصلاً اجرا نمی‌شه). تقسیم منصفانهٔ منابع بین تیم‌ها، آگاهی از توپولوژی سخت‌افزار و اشتراک GPU با روش‌هایی مثل MIG و MPS رو هم پشتیبانی می‌کنه. میشه اونو بدون بقیهٔ پلتفرم کنار ابزارهای فعلی خوشه نصب کرد.
بخش دوم GPU Fractioning Operator هست، یعنی ابزاری برای تقسیم یه GPU بین چند کار با جداسازی سفت حافظه. NVIDIA پیاده‌سازی اختصاصی قبلی رو کنار گذاشته و حالا از قابلیت داخلی CUDA 13.4 استفاده می‌کنه. خود درایور CUDA سقف حافظهٔ هر کار رو اعمال می‌کنه و این operator فقط این قابلیت رو به Kubernetes وصل می‌کنه. این ابزار به زمان‌بند خاصی وابسته نیست. برای notebookها و مدل‌های کوچیک که کل حافظهٔ GPU رو لازم ندارن خیلی به‌درد می‌خوره.
بخش سوم KAI Resource Management هست که مشخص می‌کنه کی چقدر منبع بگیره. با پروژه‌ها، دپارتمان‌ها و node poolها میشه مثلاً ۵۰٪ خوشه رو برای تیم تحقیق تضمین کرد، بدون اینکه یه تیم بقیهٔ ظرفیت رو قبضه کنه. نویسنده می‌گه اگه الان سهمیه‌ها رو تو یه spreadsheet نگه می‌داری، این لایه جاشو می‌گیره. بخش چهارم Workload Map هست، یه کتابخونهٔ Go که انواع کارهای هوش مصنوعی مثل PyTorchJob و RayCluster و KServe رو با یه قرارداد یکسان توصیف می‌کنه. یعنی ابزارها دیگه لازم نیست برای هر CRD (یعنی نوع منبع سفارشی Kubernetes) کد جدا بنویسن.
کنار این‌ها دو پروژهٔ متن‌باز مرتبط هم معرفی شده. Model Streamer وزن‌های مدل رو موازی می‌خونه و مستقیم تو حافظهٔ GPU می‌ریزه تا زمان راه‌اندازی اولیهٔ inference کم بشه. این ابزار تو vLLM و SGLang با فلگ --load-format runai_streamer فعال میشه. بنچمارک Azure روی هشت H100 بارگذاری ۳ تا ۶ برابر سریع‌تر نشون داده. Grove هم یه API برای Kubernetes هست که کارهای چندبخشی مثل جدا کردن prefill و decode رو با هم مقیاس می‌ده. شرکت‌هایی مثل Crusoe، Mirantis، Nebius، Rafay و Spectro Cloud هم Run:ai رو تو محصولاتشون آوردن.
نکات کلیدی:
- کل پلتفرم Run:ai متن‌باز شده و نسخهٔ Community روی NGC بدون اشتراک پولی در دسترسه
- KAI Scheduler با لایسنس Apache 2.0 منتشر شده و پروژهٔ Sandbox در CNCF هست
- GPU Fractioning Operator به‌جای پیاده‌سازی اختصاصی، از تقسیم GPU داخلی CUDA 13.4 استفاده می‌کنه
- Workload Map یه کتابخونهٔ Go هست که بدون نصب چیزی روی خوشه کار می‌کنه
- Model Streamer تو بنچمارک Azure بارگذاری مدل رو ۳ تا ۶ برابر سریع‌تر کرده
- نسخهٔ Community پشتیبانی رسمی NVIDIA نداره
