جان لنگفورد از مایکروسافت رفت: پایان AI Frontiers
هوش مصنوعیClaude Opus 5.5خلاصهٔ کامل‌تر
جان لنگفورد تو وبلاگ hunch.net تعریف می‌کنه که بعد از عرضهٔ ChatGPT تو ۲۰۲۳ به این نتیجه رسید که تحقیقات تو Microsoft Research (MSR) باید منظم‌تر بشه. به گفتهٔ اون، بقیهٔ گروه‌ها اون‌قدر منابع و تمرکز داشتن که یه ایدهٔ خوب که فقط یه نفر دنبالش باشه، دیر می‌رسید و با baselineهای ضعیف قانع‌کننده نبود. برای همین با چند نفر دیگه زیرمجموعهٔ AI Frontiers (AIF) رو تو MSR ساختن.
AIF حدود ۵۰ نفر بود و بیشتر روی کار کردن agentها تمرکز داشت؛ مثل فریم‌ورک هماهنگ‌سازی Autogen و Fara، یه agent برای کار با کامپیوتر. تیم نیویورک روی قابلیت‌های پایه‌ای کار می‌کرد: هدف آموزشی Next Latent که به مدل اجازهٔ extrapolation (یعنی پیش‌بینی بیرون از محدودهٔ داده‌های دیده‌شده) می‌ده، و Dion3 که نسخهٔ بهترِ بهینه‌ساز Muon هست.
یه پروژهٔ دیگه‌شون Full Bandwidth Transformer بود که با recursion (یعنی چند بار رد کردن داده از خود مدل) مدل رو قوی‌تر می‌کنه. AIF یه monorepo هم ساخت که پیش‌فرض با کل MSR به اشتراک گذاشته می‌شد و یه pipeline کامل pretraining داشت. لنگفورد می‌گه ساختن چنین pipelineی کار سنگینیه و حداقل چهار تیم دیگه تو MSR جداگونه درگیرش بودن.
اوایل سپتامبر، AIF با Microsoft AI (MAI) ادغام شد. لنگفورد می‌گه روی کاغذ منطقی بود، ولی فلسفهٔ رهبری MAI که از Inflection اومدن با اون‌ها جور نبود: تمرکز فقط روی scaling، یعنی بزرگ‌تر کردن مدل و داده، و نه تحقیق. اون قبول داره که مدل‌های بزرگ‌تر بهترن و بازده scaling از نظر تجاری قابل پیش‌بینی‌تره، ولی می‌گه تو این فضا کار اصلی جمع‌کردن و تمیزکردن داده‌ست و عملاً کسی اون‌ها رو نمی‌خواست.
نویسنده تمرکز فقط روی scaling رو اشتباه و بی‌لذت می‌دونه. به گفتهٔ اون، آزمایش‌های ByteDance نشون می‌ده یه نسخه از Full Bandwidth Transformer می‌تونه هم‌سطح مدلی با دو برابر اندازه باشه؛ یعنی هزینهٔ آموزش و اجرا برای همون قابلیت تقریباً نصف میشه. با سرمایه‌گذاری نزدیک به یه تریلیون دلاری صنعت، این صرفه‌جویی خیلی بزرگه.
لنگفورد به MSR هم برنمی‌گرده، به دو دلیل: تحقیقی که اونجا انجام بشه راهی به استفادهٔ واقعی نداره، و به نظرش قرار قدیمی MSR یعنی «کار خوب بکن، اتفاق خوب می‌افته» شکسته، چون تیمش کار خوب کرد ولی بدون رضایت جابه‌جا شد. بقیهٔ اعضای تیم رهبری اولیهٔ AIF هم ظاهراً همین تصمیم رو گرفتن و سال بعد هم دورهٔ کارآموزی با این تیم برگزار نمی‌شه.
نکات کلیدی:
- AI Frontiers یه گروه حدود ۵۰ نفره تو Microsoft Research بود که ۲۰۲۳ بعد از ChatGPT ساخته شد.
- پروژه‌های AIF شامل Autogen، Fara، Next Latent، Dion3 و Full Bandwidth Transformer بود.
- اوایل سپتامبر AIF با Microsoft AI ادغام شد که رهبریش از Inflection اومده و فقط روی scaling تمرکز داره.
- طبق آزمایش‌های ByteDance، نسخه‌ای از Full Bandwidth Transformer می‌تونه هم‌سطح مدلی دو برابر بزرگ‌تر باشه.
- لنگفورد مایکروسافت رو ترک کرده و به MSR هم برنمی‌گرده.
