سم آلتمن: یه تریلیون AI کمی باهوش‌تر از ما، نه یه ابرهوش تنها
هوش مصنوعیخلاصهٔ کامل‌تر
سم آلتمن، مدیرعامل OpenAI، مهمون پادکست Cheeky Pint با جان کالیسون (هم‌بنیان‌گذار Stripe) بوده. بحث با «هفتهٔ PHP» شروع میشه؛ یعنی وقتی مدل‌ها کلی آسیب‌پذیری جدی تو کدهای PHP پیدا کردن. آلتمن می‌گه مدل‌ها خیلی سریع تو پیدا کردن باگ بهتر می‌شن و فقط تازه مردم شروع کردن باهاشون کل کدهای اینترنت رو بگردن. به نظرش با آسیب‌پذیری‌های خیلی بیشتری از انتظار روبه‌رو می‌شیم و راه حل پایدار، بازطراحی معماری سیستم‌هاست نه فقط patch کردن.
آلتمن می‌گه روز اول این ماجرا خیلی بهتر از ترسش پیش رفت و شرکت‌ها با همین مدل‌ها patch ساختن، ولی هنوز ادعای پیروزی نمی‌کنه. نگرانیش اینه که اگه AI باگ‌های عمیق و جدیدی مثلاً تو سخت‌افزار پیدا کنه، فرض‌های پایهٔ threat model امنیتی دیگه درست نباشن. اون به انتقادی هم اشاره می‌کنه که خود صنعت AI خوب توضیح نداده چرا فایده‌های این فناوری به ریسک‌هاش می‌ارزه.
دربارهٔ sandboxing (یعنی محبوس کردن مدل تو یه محیط ایزوله) آلتمن می‌گه الان میشه خیلی بهتر از وضع فعلی کار کرد، ولی برای مدلی که یه میلیون برابر باهوش‌تر از بهترین محقق امنیتی باشه، به sandbox اعتماد نداره. به نظرش sandbox تا یه جایی جواب می‌ده، بعد monitoring (مثلاً بررسی chain of thought و activationهای مدل) تا یه جای دیگه، و آخرش باید با اطمینان خیلی بالا مطمئن بود که مدل واقعاً aligned هست.
ایدهٔ اصلی گفتگو اینه که آلتمن به‌جای یه ابرهوش واحد، طرفدار agent teams هست (خودش از کلمهٔ swarm خوشش نمیاد). به گفتهٔ اون، تیم‌های ایجنت هم scaling lawهای جالبی دارن و هم از نظر ایمنی امیدوارکننده‌ن، چون شبیه جامعه همدیگه رو کنترل می‌کنن. جملهٔ معروفش اینه که ترجیح می‌ده یه تریلیون AI کمی فراتر از انسان وارد جامعه بشن تا یه AI با IQ یه تریلیون.
آلتمن تعریف می‌کنه که اثبات Navier-Stokes با تیمی از ایجنت‌ها انجام شد و حدود ۱۰ میلیون دلار compute خرج داشت. به گفتهٔ اون یه سال بعد میشه همین کار رو با یک‌صدم هزینه انجام داد. OpenAI علاوه بر حدود ۷۰۰ اثبات منتشرشده، نتایج منتشرنشدهٔ بیشتری هم داره. آلتمن می‌گه دنیا حق داره این دانش رو داشته باشه، ولی با ریاضی‌دان‌هایی که شغل و لذت زندگیشون کشف علمه هم همدلی داره.
تو بخش آخر، آلتمن می‌گه تقاضا برای compute فقط بالا می‌ره. OpenAI یه چیپ با کارایی بالا به ازای هر وات ساخته، داره ساخت دیتاسنتر خودش رو یاد می‌گیره و یه برنامهٔ رباتیک برای ساختن دیتاسنتر داره. اون از ایدهٔ «دیتاسنترهای خودتکثیر» حرف می‌زنه؛ یعنی AI ربات‌ها رو کنترل کنه تا قطعه، توربین و دیتاسنتر بسازن. به گفتهٔ خودش، فعلاً تو حل کمبود حافظه و GPU وضع خوب نیست.
نکات کلیدی:
- آلتمن می‌گه مدل‌ها تو کدهای PHP آسیب‌پذیری‌های جدی زیادی پیدا کردن و احتمالاً خیلی بیشتر از انتظار وجود داره.
- به نظر آلتمن sandbox کردن مدلی خیلی باهوش‌تر از انسان بدون اطمینان از alignment قابل اعتماد نیست.
- آلتمن تیم‌های ایجنت رو هم از نظر توانایی و هم از نظر ایمنی جهت درست می‌دونه.
- اثبات Navier-Stokes حدود ۱۰ میلیون دلار compute هزینه داشته.
- OpenAI یه برنامهٔ رباتیک برای ساختن دیتاسنتر و یه چیپ اختصاصی داره.
