‏تیم تحقیقاتی Databricks چطور مدل‌هاش رو با AI Runtime آموزش می‌ده

تیم تحقیقات هوش مصنوعی Databricks تو این پست توضیح می‌ده چطور از AI Runtime (یا AIR)، سرویس خود شرکت برای اجرای کارهای آموزش مدل روی GPU، استفاده می‌کنه. این تیم مدل‌هایی رو می‌سازه که پشت AI Functions مثل ai_parse_document و ai_extract هستن. برای رسیدن به کیفیت لازم، ده‌ها هزار بار آموزش و ارزیابی اجرا می‌کنن، با روش‌هایی مثل SFT (فاین‌تیون با داده‌های برچسب‌دار) و یادگیری تقویتی آفلاین و آنلاین.

مدل‌هاشون از چند میلیارد پارامتر تا نزدیک یک تریلیون پارامتر هستن و روی GPUهای NVIDIA H100 یا B300 آموزش می‌بینن. به گفتهٔ تیم، سه تا چالش اصلی داشتن: اول اینکه خراب شدن یه نود یا شبکهٔ RDMA می‌تونه صدها GPU رو بیکار کنه و چند ساعت پیشرفت رو به باد بده. دوم، باید هزاران ایده رو سریع امتحان کنن بدون اینکه هر بار محیط رو از اول بسازن. سوم، باید GPUها رو بین پروژه‌هایی با اولویت و ددلاین متفاوت تقسیم کنن.

AIR قبل از شروع آموزش، نودها رو چک می‌کنه که سالم باشن و بتونن با هم حرف بزنن. وسط کار هم مشکلاتی مثل خطای ارتباطی NCCL (کتابخونه‌ای که GPUها باهاش داده رد و بدل می‌کنن)، داغ شدن، افت توان یا مشکل درایور رو زیر نظر داره. اگه یه نود باعث شکست جاب بشه، اون نود کنار گذاشته می‌شه تا جاب‌های بعدی روش نرن. یعنی محقق‌ها دیگه وقتشون رو صرف عیب‌یابی سخت‌افزار نمی‌کنن.

برای سرعت کار، تیم با AIR CLI جاب‌ها رو از راه کد اجرا می‌کنه و همون کانتینرهای Docker که برای توسعهٔ محلی ساخته رو برای آموزش هم استفاده می‌کنه. به گفتهٔ تیم، جاب‌ها چند ثانیه‌ای شروع می‌شن. AIR برای هر جاب خودش آزمایش MLflow می‌سازه، و داده‌های تحقیق که تو Unity Catalog هستن با FUSE مثل یه فایل‌سیستم محلی در دسترسن. یه سیستم اولویت‌بندی و preemption (یعنی کنار زدن کار کم‌اهمیت‌تر به نفع کار مهم‌تر) هم کمک می‌کنه ظرفیت اضافه، مثلاً آخر هفته، صرف آزمایش‌های جانبی بشه.

بخش جالب‌تر پست دربارهٔ autoresearch هست، ایده‌ای که Andrej Karpathy معروفش کرد: به‌جای اینکه محقق هر آزمایش رو دستی اجرا کنه، ایجنت‌ها تغییر پیشنهاد می‌دن، چند آزمایش موازی اجرا می‌کنن، نتیجه‌ها رو می‌سنجن و برنامهٔ بعدی رو می‌چینن. با این روش تعداد جاب‌های آموزشی تیم برای AI Functions هشت برابر شده. نویسنده‌ها می‌گن وقتی ایجنت‌ها صدها جاب می‌فرستن، چیزهایی مثل شروع کند یا پیام خطای مبهم سریع گلوگاه می‌شن. برای همین ایجنت‌ها از طریق Databricks CLI و databricks-air-skills با AIR کار می‌کنن.

نکات کلیدی:

• مدل‌های تیم از چند میلیارد تا نزدیک یک تریلیون پارامتر هستن و روی H100 یا B300 آموزش می‌بینن
• AIR قبل از آموزش نودها رو چک می‌کنه و نود خراب رو از جاب‌های بعدی کنار می‌ذاره
• همون کانتینرهای Docker محلی برای آموزش هم استفاده می‌شن و جاب‌ها چند ثانیه‌ای شروع می‌شن
• داده‌ها از Unity Catalog با FUSE مثل فایل‌سیستم محلی خونده می‌شن و آزمایش‌ها خودکار تو MLflow ثبت می‌شن
• با آزمایش‌های ایجنت‌محور (autoresearch) تعداد جاب‌های آموزشی هشت برابر شده