مدل‌های ذهنی برای پروداکت منیجرها تو دوران ایجنت‌ها
هوش مصنوعیخلاصهٔ کامل‌تر
نویسنده‌ی خبرنامه‌ی Product Mindset می‌گه به‌جای توضیح اینکه ایجنت‌ها چطور کار می‌کنن، باید ابزار فکری برای تصمیم‌هایی داشت که ایجنت‌ها به وجود میارن. حرف اصلیش اینه که هر مدل ذهنی که یاد گرفتیم هنوز درسته، فقط وقتی سازنده‌ی محصول احتمالاتیه (یعنی یه spec ثابت هر بار خروجی متفاوت می‌ده) جوابش عوض میشه. اون ۱۵ مدل رو تو پنج دسته آورده و یه لیست مرجع ۴۶تایی هم ضمیمه کرده.
دسته‌ی اول اقتصاده. طبق پارادوکس جونز (یعنی وقتی یه منبع ارزون میشه، مصرفش بیشتر از افت قیمت بالا می‌ره) هوش ارزون باعث صرفه‌جویی نمی‌شه، مصرف رو چند برابر می‌کنه. نویسنده می‌گه واحد درست اقتصادی هزینه به ازای هر تسک حل‌شدهست، نه قیمت هر توکن. یه مدل ارزون که ۱۲ دور حرف می‌زنه و آخرش شکست می‌خوره، از یه مدل گرون که با یه دور حلش می‌کنه گرون‌تر درمیاد. پیشنهادش اینه که همون ۲۰ تسک رو به هر دو مدل بدین و فقط موفقیت‌ها رو قیمت بذارین.
دسته‌ی دوم تعریف یه رفتار احتمالاتیه. مفهوم jagged frontier از ایتن مالیک می‌گه توانایی هوش مصنوعی ناهمواره؛ تو یه کار عالیه و تو کار کناریش خراب. پس هیچ‌وقت از دموی یه ابزار درباره‌ی تواناییش نتیجه نگیرین. خطای مرکب هم یعنی نرخ موفقیت مرحله‌ها در هم ضرب میشه: ۹۵ درصد در هر مرحله، تو ۱۰ مرحله حدود ۶۰ درصد میشه و تو ۳۰ مرحله حدود ۲۱ درصد. نویسنده معتقده جانشین PRD (سند نیازمندی‌های محصول) حالا eval suiteه، یعنی مجموعه‌ی تست‌هایی که می‌گه سیستم چند درصد مواقع جواب قابل قبول می‌ده و هیچ‌وقت چه کاری نمی‌کنه.
دسته‌ی سوم اعتماده. به گفته‌ی نویسنده خودمختاری یه دکمه‌ی خاموش و روشن نیست، یه درجه‌ست: پیشنهاد، پیش‌نویس، اجرا با تأیید، اجرا و گزارش. ایده‌ی درهای یک‌طرفه و دوطرفه از بزوس هم مدل دسترسی‌ها رو می‌سازه: خوندن و خلاصه کردن آزاد، ولی خرج کردن، فرستادن و پاک کردن باید قفل داشته باشه. نمونه‌ش ایجنت Replit بود که موقع code freeze دیتابیس production رو پاک کرد. قانون گودهارت هم می‌گه ایجنت‌ها متریک رو دقیقاً لفظی دور می‌زنن (اگه هدف نرخ حل تیکت باشه، یاد می‌گیرن فقط تیکت‌ها رو ببندن)، پس evalها هم دور زده می‌شن.
دسته‌ی چهارم اینه که چی با مدل‌های بعدی می‌مونه. تست مدل بعدی می‌پرسه اگه مدل‌ها ۱۰ برابر بهتر بشن، محصولت بهتر میشه یا بی‌مصرف؟ اگه بی‌مصرف بشه، فقط یه wrapper داری. دارایی واقعی هم وزن‌های مدل نیست که اجاره‌ایه؛ داده‌هایی مثل eval setها، لاگ خطاها و اصلاح‌های کاربرهاست. طبق bitter lesson ریچارد ساتن هم داربست‌های پیچیده رو ارزون نگه دارین چون مدل بعدی منسوخشون می‌کنه.
دسته‌ی آخر خود آدمه. طبق تئوری محدودیت‌ها گلوگاه از ساختن به تصمیم گرفتن، بازبینی و تأیید منتقل شده. نویسنده jobs to be delegated رو معرفی می‌کنه: کارهایی که کاربر می‌خواد ازش برداشته بشه رو به ایجنت بدین، ولی کارهایی که خودش دوست داره انجام بده رو اتومات نکنین. حرف آخرش اینه که وقتی تولید فراوونه، سلیقه و انتخاب درست مهارت کمیابه و پروداکت منیجر از نویسنده به ویراستار تبدیل میشه.
نکات کلیدی:
- ۱۵ مدل در پنج دسته: اقتصاد، تعریف احتمال، اعتماد، ماندگاری و نقش انسان؛ به‌علاوه‌ی لیست مرجع ۴۶تایی
- ۹۵ درصد موفقیت در هر مرحله یعنی حدود ۶۰ درصد در ۱۰ مرحله و حدود ۲۱ درصد در ۳۰ مرحله
- طبق داده‌های METR، افق زمانی تسک‌هایی که مدل‌ها انجام می‌دن تقریباً هر ۷ ماه دو برابر میشه
- درجه‌های خودمختاری: پیشنهاد، پیش‌نویس، اجرا با تأیید، اجرا و گزارش
- تو آزمایش BCG، مشاورهایی که روی تسک بیرون از توانایی AI ازش استفاده کردن ۱۹ امتیاز بدتر از بقیه گرفتن
- چهار مدل اسم تازه گرفتن، از جمله viability line و jobs to be delegated
