Poolside؛ کارخانهٔ مدل با کمتر از ۷۰ پژوهشگر
هوش مصنوعیClaude Opus 5خلاصهٔ کاملتر
پادکست Latent Space این بار سراغ آیزو کانت، هممدیرعامل Poolside، رفته. مسیر اون از یه مقالهٔ آندری کارپاتی به اسم «اثربخشی نامعقول شبکههای عصبی بازگشتی» تو سال ۲۰۱۵ شروع میشه؛ همون مقالهای که به گفتهٔ خودش باعث شد استارتاپش رو یکشبه به سمت مدلهای زبانی برای کد بچرخونه. اون استارتاپ (Sourced) بعد از چهار پنج سال و ۱۲ میلیون دلار شکست خورد و کانت اسمش رو بزرگترین شکست حرفهایش میذاره — اشتباه اصلیشون این بود که مسیر درست بود ولی مقیاس رو ادامه ندادن. بعد ChatGPT اومد و به قول خودش حس اعادهٔ حیثیت داد.
موضع اون دربارهٔ متنباز صریحه: ترجیح میده تو دنیایی زندگی کنه که ۱۰۰ شرکت مدل پایه داره تا دنیایی با پنج شرکت، حتی اگه Poolside یکی از اون پنج تا باشه. میگه تصویر آیندهای که توش سه چهار شرکت کل هوش جهان رو تولید کنن، برای اون یه داستان دیستوپیاییه. تفکیکی هم قائل میشه که کمتر شنیده میشه: انتشار وزنها یه فایل باینریه و به کسی اجازه نمیده کار تو رو بازتولید کنه؛ پژوهش باز — یعنی گفتن اینکه چطور انجامش دادی و از دهها هزار آزمایش چی یاد گرفتی — مشارکت معنادارتریه.
قلب گفتوگو «کارخانهٔ مدل» (Model Factory) هست. به گفتهٔ کانت، ساخت مدل در نهایت ۹۰٪ مهندسیه؛ سه سال پیش وضعیت صنعت اسکریپتهای bash و Slurm و کدبیسهای اسپاگتی بود و اونها به جاش کل مسیر — از خزش و پاکسازی داده تا آموزش توزیعشده و پسآموزش و یادگیری تقویتی — رو مثل یه فرایند صنعتی دیدن و مهندسهای سیستمهای توزیعشده رو از روز صفر وارد تیم تحقیق کردن. کارخانهای که با چند مؤلفه شروع شد امروز هزاران مؤلفه داره.
نتیجهش تو اعداد پیداست: کمتر از ۷۰ پژوهشگر ماهی حدود ۱۰ تا ۲۰ هزار آزمایش اجرا میکنن و چرخهٔ انتشار مدل از شش ماه به پنج تا هشت هفته رسیده. کلیدهای این سرعت به گفتهٔ اون جاریکردن مستقیم داده به داخل آموزش، دادهٔ تغییرناپذیر، کد نسخهبندیشده و تکرارپذیری آزمایشهاست؛ بهعلاوهٔ ایجنتهایی که کمکم خودشون کد مینویسن، جاب اجرا میکنن، نتیجه رو ارزیابی میکنن و حتی خطوط لولهٔ آموزش نسل بعد رو تغییر میدن. یه نمونهٔ خوب از فایدهٔ ساختن از صفر هم تعریف میکنه: سه هفته درگیر یه باگ بهینهساز بودن و بعد از حلش دیگه لازم نبود مقدار اپسیلون Adam رو مثل مقالههای اولیهٔ Llama بالا ببرن.
مدل تازهشون Laguna S 2.1 یه Mixture-of-Experts با ۱۱۸ میلیارد پارامتر کل و ۸ میلیارد فعال به ازای هر توکنه، با پنجرهٔ متن تا یک میلیون توکن و دو حالت thinking و no-thinking — و طبق ادعای مطرحشده تو این قسمت، جلوی مدلهای نزدیک به ده برابر بزرگتر کم نمیاره. جمعبندی فنی کانت اینه که پشتکار، راستیآزمایی و عقبگرد ممکنه از هوش خام مهمتر باشن، ظرفیت مدلهای کوچیک هنوز دستکم گرفته میشه، یادگیری تقویتی قراره به مراحل زودتر یعنی پیشآموزش بیاد، و پیشبینی توکن بعدی هنوز داره خیلی کم از وب استخراج میکنه.
بخشهای دیگهٔ گفتوگو هم جای بحث دارن: اینکه چرا به نظر اون MCP و فراخوانی ابزار سنتی «احمقانه»ان و ایجنتهای آینده به جای انتخاب از بین دهها ابزار از پیش تعریفشده، اسکریپت مینویسن؛ چرا هارنس مینیمال و کانتینر و آزادی مدل بهتر جواب میده؛ چرا Poolside روی بینایی سرمایهگذاری میکنه ولی فعلاً سراغ صدا نمیره؛ اقتصاد واقعی آموزش مدل و جذب ۵۰۰ میلیون دلار سرمایه؛ و این نگرانی که مقرراتگذاری ممکنه ناخواسته یه الیگارشی دو سه شرکته رو قفل کنه.
نکات کلیدی:
- Laguna S 2.1: مدل MoE با ۱۱۸ میلیارد پارامتر کل، ۸ میلیارد فعال و متن تا یک میلیون توکن
- کمتر از ۷۰ پژوهشگر و ماهی ۱۰ تا ۲۰ هزار آزمایش در «کارخانهٔ مدل»
- کوتاهشدن چرخهٔ ساخت مدل از شش ماه به پنج تا هشت هفته
- ساخت مدل ۹۰٪ مهندسیه؛ مهندسهای سیستم توزیعشده از روز صفر در تیم تحقیق
- ترجیح ۱۰۰ شرکت مدل پایه به پنج شرکت، و تأکید بر پژوهش باز نه فقط وزن باز
- نقد صریح به MCP و فراخوانی ابزار سنتی به نفع ایجنتهایی که اسکریپت مینویسن
