‏هوانگ ناخواسته گفت OpenAI رو تعطیل کنید

زوی موشوویتز تو این پست، پادکست ازرا کلاین با جنسن هوانگ، مدیرعامل Nvidia، رو بند به بند بررسی کرده. جمع‌بندی خودش اینه: هوانگ ناخواسته خواستار تعطیلی OpenAI شده و عمداً خواستار خرج خیلی بیشتر روی ایمنی. به گفتهٔ نویسنده، هوانگ به ASI (یعنی ابرهوشی که از آدم جلو بزنه) باور نداره و AI رو فقط «یه لایهٔ انتزاع جدید» می‌دونه که چیز بنیادی‌ای رو عوض نمی‌کنه.

نقطهٔ اوج گفت‌وگو اونجاست که کلاین می‌گه آزمایشگاه‌ها خودشون مطمئن نیستن بلدن مدل‌ها رو align کنن، یعنی رفتار مدل رو با چیزی که ازش انتظار می‌ره جور کنن. جواب هوانگ اینه که پس نباید محصول رو منتشر کنن؛ و اگه بگن اصلاً راهی برای مهار آزمایش‌هاشون نیست، به تعبیر خودش «باید آزمایشگاه‌ها رو تعطیل کنیم»، چون هزینه‌اش برای بشر و بار مسئولیت حقوقی‌اش بیش از حده.

نویسنده سه ایراد اصلی به این قاعده می‌گیره. اول اینکه باید معلوم بشه «ایمن» یعنی چی؛ با معیار خودروی خودران، هیچ مدل زبانی امروز ایمن نیست. دوم اینکه ایمنی از لحظهٔ انتشار شروع نمی‌شه، چون حملهٔ معروف HuggingFace از یه مدل منتشرنشده اومد. سوم اینکه منتشر نکردن دسته‌جمعی خودش پروندهٔ ضدانحصار درست می‌کنه.

ریشهٔ اختلاف از نگاه نویسنده اینه که هوانگ با ذهنیت مهندسی سراغ ماجرا می‌ره: هر خرابی یه root cause داره، پیداش کن و درستش کن. ولی اینجا با ذهنی طرفیم که پرورش داده شده، نه طراحی، و فهم مکانیکی ازش نداریم. جالب اینکه خود هوانگ می‌گه نرم‌افزار مدام از sandbox فرار می‌کنه و مدل‌ها هم نمی‌تونن ناظر خودشون باشن، ولی این تکه‌ها رو کنار هم نمی‌ذاره.

بخش‌های دیگهٔ گفت‌وگو دربارهٔ شغل و مدل‌های open weight هست. هوانگ می‌گه ۵۰۰ میلیارد دلار سرمایه‌گذاری اخیر قطعاً شغل می‌سازه و ریزش مشاغل تولیدی آمریکا هم بیشتر تقصیر برون‌سپاری بوده تا فناوری؛ نویسنده با استناد به کار Hicks و Devaraj می‌گه سهم فناوری و اتوماسیون بالای ۷۰ درصده. دربارهٔ مدل‌های باز هم انگیزهٔ Nvidia روشنه: هر مدلی، باز یا بسته، روی سخت‌افزار Nvidia می‌چرخه.

نکات کلیدی:

• هوانگ می‌گه اگه آزمایشگاهی نتونه آزمایش‌هاشو مهار کنه، باید تعطیل بشه
• خودش ابرهوش و خطر وجودی AI رو قبول نداره و AI رو یه لایهٔ انتزاع تازه می‌دونه
• حملهٔ HuggingFace از یه مدل منتشرنشده شروع شد، پس «منتشرش نکن» مسئله رو حل نمی‌کنه
• آزمایشگاه‌ها دنبال معافیت از مسئولیت حقوقی نیستن، دنبال معافیت هدفمند ضدانحصار برای همکاری روی استانداردهای ایمنی‌ان
• به گفتهٔ نویسنده، قاعدهٔ پیشنهادی هوانگ از خواستهٔ جامعهٔ ایمنی AI هم سخت‌گیرانه‌تره
• Nvidia مالک HuggingFace شده و هوانگ از مدل‌های open weight حمایت می‌کنه