‏ارزش واقعی همون چیزیه که مدل نمی‌تونه یاد بگیره

نویسنده با یه ناامیدی رایج بین سرمایه‌گذارهای هوش مصنوعی شروع می‌کنه: این حس که اگه مدل‌ها همه‌چی رو بهتر انجام بدن، هر شرکتی که روی یه مدل ساخته شده یه لایه نازکه که آخرش بلعیده می‌شه و فقط ارزش محاسبات و وزن‌های مدل باقی می‌مونه. اون می‌گه این منطق نصفش درسته، ولی نتیجه‌گیریش غلطه.

مثال اصلیش مهندسی نرم‌افزاره. به گفته نویسنده، ایجنت‌های کدنویسی اول از همه پیشرفت کردن چون قابل سنجش بودن: کامپایلر و تست خودشون یه راستی‌آزماس مجانی‌ان و می‌شه انقدر روشون تمرین داد تا تست رو رد کنن. ولی نویسنده اشاره می‌کنه که پاس‌شدن تست هیچ‌وقت بهت نمی‌گه تغییری که دادی واقعاً برای یه کدبیس ده‌ساله درست بوده یا نه. اون به یه پژوهش از MIT روی بیش از ۱۰۰ هزار توسعه‌دهنده اشاره می‌کنه که نشون داد ایجنت‌های کد حجم کد نوشته‌شده رو حدود ۱۸۰٪ بالا بردن ولی چیزی که واقعاً ship شد فقط حدود ۳۰٪ بیشتر شد.

ایده محوری مقاله اینه: هر چیزی که بشه روی یه لیدربورد گذاشت، می‌شه روش ترین کرد، پس هر کار قابل‌سنجشی در مسیر تبدیل‌شدن به یه کالای ارزون قرار داره. نویسنده این رو از دو طرف توضیح می‌ده. از پایین، وقتی یه کار به‌راحتی قابل بررسی شد، خریدار فقط دنبال ارزون‌ترین مدله. از بالا، آزمایشگاه‌ها دارن اون داربستِ دور مدل (مثل retrieval، مسیریابی بین فراخوانی‌های ارزون و گرون، و استفاده از ابزار) رو هم می‌کشن داخل خود مدل.

اون یه چارچوب دو در دو می‌سازه بر اساس دو سؤال: درستیِ کار خصوصی و گرونه؟ و آیا پشت دیوار یه سیستم قفل شده؟ به گفته نویسنده، کارِ اشباع‌شده با جواب عمومی مالِ مدل‌های open می‌شه، کارِ frontier با جواب عمومی (مثل بنچمارک‌های کد) مالِ آزمایشگاه‌هاست، ولی جایزه اصلی اون گوشه آخره: کارِ frontier که درستیش فقط به‌صورت خصوصی وجود داره. این همون چیزیه که اون «the untrainable» یا غیرقابل‌ترین می‌نامه.

نویسنده می‌گه یه مدل بهتر، حقیقتِ زمینیِ خصوصی رو عمومی نمی‌کنه. مدل لایسنس رو نگه نمی‌داره، مسئولیت حقوقی رو امضا نمی‌کنه و فایل‌های شرکت مال اون نیست. به گفته اون، گلوگاه اینجا هوش نیست، بلکه اجازه و پاسخگوییه. اون از یه قفل و یه کلون حرف می‌زنه: قفل، همون محیطه که فقط بعد از بازبینی امنیتی و قرارداد بهش راه پیدا می‌کنی؛ کلون، خود کاربره. مثالش اینه که اکثر پزشک‌های آمریکایی حالا هر روز OpenEvidence رو باز می‌کنن و هیچ مقدار محاسباتی این عادت رو نمی‌خره.

اون می‌گه فروش این ارزشِ نامرئی هم سخته، چون از بیرون نمی‌شه ثابت کرد که هوش مصنوعی کار یه شرکت رو دگرگون می‌کنه یا نه. برای همین قوی‌ترین کسب‌وکارها به‌جای اثبات بیرونی، می‌رن داخل و رو نتیجه قیمت می‌ذارن: مثلاً Sierra فقط وقتی پول می‌گیره که ایجنتش مشکل مشتری رو حل کنه، و Devin از Cognition یه «گارانتی عملکرد» می‌ده که فقط وقتی می‌شه ارائه‌ش داد که داخل یه سیستم بهت اعتماد شده باشه.

نکات کلیدی:

• هر کاری که قابل سنجش با بنچمارک یا تست باشه، در نهایت توسط مدل‌ها بلعیده و تبدیل به کالای ارزون می‌شه
• ارزش پایدار جاییه که درستیِ کار خصوصیه و فقط داخل داده‌های یه شرکت معنا داره
• پژوهش MIT: ایجنت‌های کد حجم کد رو ۱۸۰٪ بالا بردن ولی فقط ۳۰٪ بیشتر واقعاً ship شد
• گلوگاه اصلی هوش نیست، بلکه اجازه ورود، مسئولیت حقوقی و اعتماد کاربره
• شرکت‌های موفق به‌جای اثبات بیرونی، رو نتیجه قیمت می‌ذارن (مثل Sierra و Devin)