مهندس نرم‌افزار حالا یه ناظره
هوش مصنوعیخلاصهٔ کامل‌تر
آنی ولا این پست رو همراه با سخنرانیش تو Agentic Engineering Day اوکلند نوشته. اون تو تحقیق ارشدش دیده که مهندس‌ها با AI از ساختن به سمت بررسی کردن (تست و review) می‌رن. اسم این کار جدید رو گذاشته supervisory engineering work، یعنی هدایت AI، ارزیابی خروجیش و اصلاحش وقتی اشتباه می‌کنه. حرف اصلی این پست اینه که این همون مفهوم قدیمی supervisory control هست و تحقیقات زیادی پشتشه.
نویسنده می‌گه شاید با Jevons Paradox تقاضا برای مهندس بیشتر هم بشه، ولی دیگه این همون شغل قبلی نیست. مهارت، آموزش، معیار خوب بودن و شیوهٔ استخدام همه باید عوض بشن. یه سؤال مهمی که می‌پرسه: چطوری مهندس رو مسئول کدی بدونیم که نه نوشته و نه حتی خونده؟
رشتهٔ human factors (یعنی مطالعهٔ تعامل آدم و سیستم) از جنگ جهانی دوم شروع شد، وقتی هواپیماها از توان خلبان‌ها پیچیده‌تر شدن. بعداً توماس شریدن تو MIT مفهوم supervisory control رو ساخت. فرقش با کنترل مستقیم اینه که کامپیوتر حلقهٔ بازخورد رو می‌بنده، نه آدم. قبلاً ما خودمون کد می‌نوشتیم و بازخورد می‌گرفتیم. الان ایجنت خودش کد می‌نویسه، تست می‌گیره و اشتباهش رو درست می‌کنه و ما فقط نظارت می‌کنیم.
شریدن و ورپلانک تو یه گزارش سال ۱۹۷۸ پنج نقش برای ناظر گفتن: plan، command، monitor، intervene و trust. این‌ها تقریباً یکی‌یکی با directing، evaluating، correcting و calibrating trust تو تحقیق نویسنده جور درمیان. اندزلی و کیریس هم سال ۱۹۹۵ پنج سطح اتوماسیون تعریف کردن، از «بدون کمک» تا «اتوماسیون کامل». نویسنده این‌ها رو به autocomplete، ایجنتی که باید تأییدش کنی، auto-mode با حق وتو و dark software factory ربط می‌ده. یه فرق مهم هم هست: این مدل‌ها فرض می‌کردن کامپیوتر راستشو می‌گه، ولی ایجنت AI همیشه این‌طوری نیست.
اندزلی و کیریس به «out-of-the-loop performance problem» رسیدن: هرچی اتوماسیون بیشتر بشه، situation awareness (یعنی اینکه بفهمی الان تو سیستم چی داره می‌گذره) کم میشه. اپراتورها تغییر رو می‌دیدن ولی معنیش رو نمی‌فهمیدن. بعد از خرابی سیستم هم کندتر کار می‌کردن، بار کاریشون کم نشده بود و حتی اعتمادبه‌نفس بیشتری داشتن. نویسنده اینو به cognitive debt ربط می‌ده: وقتی فقط diff می‌خونی، مدل ذهنی درستی از سیستم نمی‌سازی. Bainbridge هم سال ۱۹۸۳ گفته بود هرچی اتوماسیون موفق‌تر باشه، آموزش اپراتور مهم‌تر میشه، چون کمتر تمرین می‌کنه.
پیشنهاد نویسنده اینه که شغل و سیستم با هم از نو طراحی بشن: سطح اتوماسیون آگاهانه برای هر نوع کار انتخاب بشه، ابزارها سیگنال درست رو تو زمان درست نشون بدن تا لازم نباشه «سخت‌تر review کنیم»، معلوم بشه کِی و چطوری آدم باید وارد عمل بشه و مسئول چیه، و آدم‌ها برای این شغل آموزش ببینن.
نکات کلیدی:
- supervisory engineering work یعنی هدایت AI، ارزیابی خروجیش و اصلاحش
- مفهوم supervisory control رو توماس شریدن تو MIT از اواخر دههٔ ۶۰ میلادی ساخت
- شریدن و ورپلانک (۱۹۷۸) پنج نقش ناظر رو تعریف کردن: plan، command، monitor، intervene، trust
- اندزلی و کیریس (۱۹۹۵) نشون دادن با بالا رفتن اتوماسیون، درک اپراتور از سیستم کم میشه
- Bainbridge (۱۹۸۳): موفق‌ترین سیستم‌های خودکار بیشترین آموزش اپراتور رو لازم دارن
- ایجنت‌های AI برخلاف اتوماسیون قدیمی ممکنه گزارش غلطی از کاری که کردن بدن
