وقتی موقع کار با LLM مغزمون رو خاموش میکنیم
هوش مصنوعیخلاصهٔ کاملتر
دن لو تو این یادداشت کوتاه از رفتاری حرف میزنه که از اوایل ۲۰۲۵ زیاد دیده: آدمها یه کارو به LLM میسپرن، مثلاً خلاصه کردن متن یا نوشتن کد، و بدون فکر فرض میکنن درست انجام شده. اگه هم کار نکرد، فقط خطا رو برمیگردونن به مدل تا خودش درستش کنه. نیکلاس گرون به این آدم meat proxy میگه، یعنی آدمی که فقط نقش واسطهٔ بیفکر بین مدل و دنیای واقعی رو بازی میکنه، مثل یه for loop گوشتی.
به گفتهٔ نویسنده، این روش تو سپتامبر ۲۰۲۶ خیلی بهتر از اوایل ۲۰۲۵ جواب میده و بعضی نرمافزارهایی که اینطوری ساخته شدن تا حدی کار میکنن. ولی نه اونقدر که بخواد ازشون استفاده کنه. حرف اصلیش اینه: فرض کن مدلها اونقدر خوب بشن که این روش نرمافزار معمولی یا حتی عالی بده. اونوقت شرکت چرا باید پول اون meat proxy رو بده؟ میتونه خود LLM رو تو یه loop اجرا کنه و کارمند رو اخراج کنه. یعنی هیچ نقطهای نیست که این روش به نفع خود کارمند تموم بشه.
تو پانویسها، لوک برتون میگه اینکه بتونی کارو ول کنی و بری، بیشتر نشون میده کار کمارزش بوده. برای کارهای مهم باید نقش QA، مدیر مهندسی و معمار رو با هم بازی کنی. مثال خودشون تبدیل یه پروژه به Bazel بوده که با وجود agentها ماهها طول کشیده، چون پر از تصمیمها و نیازهای نانوشته بوده.
نویسنده اضافه میکنه که agentها جلوی مسئلههای out of distribution، یعنی چیزهایی که کم تو دادهٔ آموزشی دیدن، خیلی بدتر از یه آدم معقول عمل میکنن. مثالش بازیهای رومیزی مثل Dominion هست که مدلها چیزهایی میگن که فقط به گوش آدم ناآشنا درست میاد.
نویسنده چند مثال هم از نتیجهٔ این اعتماد کورکورانه میاره: agentهایی که روی تستها یا یه متریک overfit میکنن، یه «رهبر فکری» که گفته بود برنامهنویسی حل شده ولی پروژههاش تو GitHub یا کار نمیکردن یا خیلی بد کار میکردن، و یه محصول تجاری که کاربر عادی رو تو یه حلقهٔ بیپایان گیر میانداخت. از گری برنهارت هم نقل میکنه که تو ریویوها معمولاً diff کد agent رو به ۲۵ درصد اندازهٔ اولش کم میکنه.
نویسنده قبول داره که خودش هم با agent ابزارهای شخصی «برای من کار میکنه» میسازه و از خروجی غلطی که بعد درستش میکنه فایده میبره. ولی میگه فرق هست بین این و ادعای «برنامهنویسی حل شده». اون استدلال که «بههرحال همه منسوخ میشیم» یا «یه مدت میشه با meat proxy بودن کنار اومد» رو هم برعکس میدونه. به نظرش شرکتها الان از AI بهونهای برای تعدیل ساختن، پس الان بدترین زمان برای کار کردن بدون فکر و بدون ارزشآفرینیه.
نکات کلیدی:
- meat proxy یعنی آدمی که فقط خروجی و خطا رو بین LLM و دنیای واقعی جابهجا میکنه، بدون اینکه خودش فکر کنه.
- این روش تو سپتامبر ۲۰۲۶ بهتر از اوایل ۲۰۲۵ جواب میده، ولی نرمافزارش هنوز به گفتهٔ نویسنده عملاً کار نمیکنه.
- اگه این روش کامل جواب بده، شرکت میتونه LLM رو تو loop اجرا کنه و کارمند رو حذف کنه.
- agentها روی مسئلههای out of distribution مثل بازیهای رومیزی جدید از یه آدم معقول تازهکار ضعیفترن.
- گری برنهارت میگه تو ریویو، diff کد agent رو معمولاً به ۲۵ درصد اندازهٔ اولش کم میکنه.
