یه محصول AI جدی چه شکلیه؟
هوش مصنوعیخلاصهٔ کامل‌تر
تو این پست (۲۷ سپتامبر ۲۰۲۶) نویسنده می‌گه محصولات نسل فعلی AI فرض‌های خودشون رو جدی نگرفتن. استدلالش ساده‌ست: هر چت‌بات پایین صفحه‌اش نوشته که ممکنه اشتباه کنه و کاربر باید جواب‌ها رو دوباره چک کنه، ولی این هشدار با متن ریز خاکستری نوشته شده و به گفتهٔ نویسنده فقط برای انتقال مسئولیت حقوقیه، نه کمک به کاربر. نقدش مخصوص آزمایشگاه‌های بزرگ نیست و Ollama رو هم شامل میشه.
بزرگ‌ترین خواستهٔ نویسنده اینه که «چک‌کردن اشتباه» یه فیچر درجه‌یک بشه: یه صفحهٔ دوستونی که ستون اولش خروجی مدله و ستون دومش یادداشت آدم دربارهٔ این‌که چطور اون ادعا (claim) رو بررسی کرده، با یه چک‌باکس بزرگ که فقط بعد از بررسی واقعی تیک می‌خوره. به نظر اون تو ابزارهای کدنویسی این کار عملا به code review هل داده شده که یه dark pattern ـه، چون «احتمالا مشکلی نداره» سریع‌ترین راه بستن PR ـه. حتی چک‌کردن diff قبل از اجرای تست‌ها هم می‌تونه جلوی سوختن الکی منابع CI رو بگیره.
بخش دوم دربارهٔ منبع و اصالت داده‌ست. نویسنده می‌گه جواب تحقیقی باید به شکل لیست منبع نشون داده بشه، هر منبع یه آبجکت بزرگ با تاریخ انتشار و اسم نویسنده، و عین نقل‌قول (که با یه برنامهٔ معمولی استخراج شده، نه با LLM) بزرگ‌تر از متن تولیدی مدل باشه؛ خلاصهٔ AI هم کوچیک و کم‌رنگ زیرش. همین منطق رو به داده هم می‌ده: باید معلوم باشه یه جدول از API و tool واقعی اومده یا مدل خودش ساختشه، و بشه بخشی از خروجی رو مثل یه spreadsheet واقعی با حساب‌وکتاب معمولی بررسی کرد.
بعد می‌ره سر رابط کاربری. اول این‌که ابزار توسعه یا تحقیق دلیلی نداره از زبون اول‌شخص استفاده کنه یا عذرخواهی کنه، چون هم تولیدش هزینه‌ست هم خوندنش وقت‌گیر. دوم این‌که جای چت آزاد، رابط مخصوص هر کار لازمه؛ مثلا اگه قراره باگ‌های OWASP رو پیدا کنه، یه دکمه برای همون کار. سوم، کنترل تکرارپذیری: temperature پیش‌فرض به کاربر نشون داده نمی‌شه، پس کاربر فکر می‌کنه جواب قطعیه. و چهارم، دیدن وضعیت context، یعنی همون فضای محدود گفتگو که مدل هر بار می‌تونه ببینه: به گفتهٔ نویسنده مهم‌ترین چالش مهندسی این ابزارهاست، ولی هیچ محصولی پیش‌فرض نشونش نمی‌ده و اثر compaction رو هم توضیح نمی‌ده.
تندترین بخش پست دربارهٔ سندباکسه. نویسنده می‌گه agentic coding به‌صورت پیش‌فرض ناامنه و سال‌هاست دادهٔ آدم‌ها رو پاک می‌کنه، و توصیهٔ رایج «از داکر استفاده کن» نهایتا سیستم‌عامل رو نجات می‌ده نه کار محلی‌ت رو، چون ایجنت به‌هرحال به checkout پروژه دسترسی داره. چیزی که می‌خواد تو خود harness باشه و مستقل از پرامپت: سندباکس همهٔ عملیات فایل‌سیستم و محدودکردن هر حذفی بیرون از محدودهٔ مشخص، اسنپ‌شات کل ریپو روی هر عملیات برای rollback، حذف کامل auto mode و --dangerously-skip-permissions، و تایید نقشه به شکل دسته‌ای جای پرسیدن برای هر اکشن که فقط کاربر رو به تاییدزدن خودکار عادت می‌ده.
آخر پست هم به سازمان‌ها می‌پردازه: چرخش شیفت برای جلوگیری از vigilance decrement (یعنی افت تمرکز وقتی خروجی معمولا درسته و فقط گاهی به شکل غیرشهودی غلط)، با اشاره به قوانین سخت استراحت و الزام کمک‌خلبان تو هوانوردی؛ بودجه و وقت مشخص برای تمرین مهارت‌ها که با اتکا به AI از دست می‌رن؛ و منابع سلامت روان، از جمله یه نشانگر مصرف تجمعی برای کاربر. جمع‌بندی نویسنده اینه که نبود همهٔ این‌ها با هم، بعد از چند سال و میلیاردها دلار سرمایه، فقط یه سهل‌انگاری معمولی نیست؛ به گمان اون اگه این قابلیت‌ها اضافه می‌شدن، شاید معلوم می‌شد بهره‌وری واقعی اون‌قدری که تبلیغ میشه نیست.
نکات کلیدی:
- خواستهٔ اصلی: یه جدول دوستونی با چک‌باکس برای هر ادعا، تا چک‌کردن خروجی خودش بخشی از محصول باشه
- نتیجهٔ تحقیق باید لیست منبع با تاریخ و نویسنده باشه و عین نقل‌قول بزرگ‌تر از متن تولیدی مدل نشون داده بشه
- بدون زبون اول‌شخص و بدون عذرخواهی؛ جای چت آزاد، رابط و دکمهٔ مخصوص هر کار
- نمایش پیش‌فرض وضعیت context و اثر compaction، به‌علاوه امکان replay و fork گفتگو
- برای ایجنت‌های کدنویسی: سندباکس فایل‌سیستم، اسنپ‌شات ریپو روی هر عملیات، و حذف auto mode و --dangerously-skip-permissions
- سه تغییر سازمانی: چرخش شیفت، وقت تمرین مهارت، و منابع سلامت روان با نشانگر مصرف تجمعی
