‏چرا گزارش حادثه رو نباید به هوش مصنوعی سپرد

لورین هوکستین تو این پست از یه تجربهٔ نگران‌کننده حرف می‌زنه: آینده‌ای که توش گزارشِ حادثه‌ها (incident report) رو به‌جای آدم، کامل با مدل‌های زبانی می‌نویسن. به گفتهٔ نویسنده این اتفاق حتماً داره می‌آد و اون اصلاً منتظرش نیست. نکته اینجاست که خودِ این کار خیلی وسوسه‌کننده‌ست، چون کافیه از مدل بخوای گزارش رو بنویسه و اونم می‌نویسه — و دقیقاً همین سادگی اونو می‌ترسونه.

نویسنده اول یه تفکیک مهم می‌ذاره: جمع‌کردن داده‌ها و مرتب‌کردن مواد اولیهٔ یه گزارش کلی زحمت (toil) داره و اینجا مدل‌های زبانی واقعاً کمک می‌کنن و هیچ ایرادی هم نداره. ولی بین «استفاده از AI برای چیدن مواد اولیه» و «سپردن خودِ نوشتنِ گزارش به AI» یه دنیا فرق هست.

استدلال اصلیش برمی‌گرده به ماهیت نوشتن. نویسنده یه جملهٔ معروف از کارتونیستی به اسم Dick Guindon رو نقل می‌کنه که «نوشتن، روشِ طبیعت برای نشون‌دادنِ اینه که فکرِت چقدر شلخته‌ست»؛ و از Leslie Lamport هم می‌آره که «اگه بدون نوشتن فکر می‌کنی، فقط خیال می‌کنی داری فکر می‌کنی». حرف اینه که وقتی مجبور می‌شی یه مفهوم رو با کلمات خودت برای خواننده توضیح بدی، تازه می‌فهمی درکت ازش چقدر مبهم بوده.

به نظر نویسنده، وقتی مدلِ زبانی متنِ گزارش رو تولید می‌کنه، این مرحلهٔ فکرکردن دور زده می‌شه. دیگه هیچ آدمی تو حلقهٔ نوشتن نیست که مجبور بشه چک کنه توضیح واقعاً با شواهدِ جمع‌شده جور درمی‌آد یا نه. چیزی که گیرت می‌آد یه توضیحِ به‌ظاهر منطقیه برای کسی که با جزئیات آشنا نیست؛ خواننده سر تکون می‌ده و می‌گه «آره منطقیه»، درحالی‌که ممکنه مدل ارتباط‌هایی بین سیستم‌ها ساخته باشه که اصلاً وجود ندارن، یا تعامل‌های مهمی که واقعاً بخشی از حادثه بودن رو جا انداخته باشه.

نویسنده معتقده گزارشِ حادثه‌ی نوشته‌شده با AI حتی از استفاده از مدل‌ها برای کدنویسی یا کارهای مثلِ AI SRE خطرناک‌تره. تو کدنویسی همیشه یه مرحلهٔ تست هست که بررسی می‌کنه کد رفتار درست رو نشون می‌ده یا نه؛ تو کارهای SRE هم یا خروجی مدل به حلِ حادثه کمک می‌کنه یا نمی‌کنه. تو هر دو حالت، در نهایتْ واقعیت داوریِ نهایی رو می‌کنه.

ولی گزارشِ حادثه این‌طوری نیست. عواقبِ یه گزارشِ بد، برخلافِ کدِ غلط یا تشخیصِ عملیاتیِ اشتباه، همون لحظه معلوم نمی‌شه. در نتیجه گزارش‌هایی داریم که فرمِ ظاهراً درست دارن ولی در واقع اشتباهن و هیچ تستِ روشنی هم برای درستی‌شون وجود نداره. چون نوشتنِ این گزارش‌ها وقت‌گیره، وسوسهٔ سپردنش به AI هم قوی می‌مونه.

نویسنده جمع‌بندی می‌کنه که این گزارش‌ها یه‌جور «شبیه‌ساز» (simulacra) می‌شن: فرمِ درست دارن ولی بینشِ واقعی دربارهٔ ماهیتِ سیستم به خواننده نمی‌دن، چون مدل نمی‌ره با آدم‌های درگیرِ حادثه حرف بزنه. نتیجه‌ش اینه که میزانِ یادگیری از حادثه‌ها به‌شدت کم می‌شه — و در آخر هم لابد آدم‌ها همین گزارش‌ها رو دوباره با AI خلاصه می‌کنن.

نکات کلیدی:

• کمک‌گرفتن از LLM برای جمع‌کردنِ دادهٔ گزارشِ حادثه مشکلی نداره؛ خطر جاییه که خودِ نوشتنِ گزارش رو بهش بسپری.
• نوشتن با کلماتِ خودت مجبورت می‌کنه ببینی درکت از ماجرا واقعاً چقدر عمیقه؛ AI این مرحله رو حذف می‌کنه.
• خروجیِ مدل ممکنه ارتباط‌های الکی بسازه یا تعامل‌های مهم رو جا بندازه، بدون اینکه کسی بفهمه.
• برخلافِ کد و کارهای SRE، برای درستیِ گزارشِ حادثه هیچ تستِ فوری‌ای وجود نداره.
• ماحصلْ گزارش‌هایی با فرمِ درست ولی محتوای اشتباهه که یادگیریِ تیم رو کم می‌کنن.