کلاد کد یه MCP سرور سازمانی ساخت، ولی کم آورد
هوش مصنوعیخلاصهٔ کاملتر
CData تو یه گزارش پژوهشی سراغ یه سؤال ساده رفته: میشه با ابزارهای کدنویسی هوش مصنوعی یه MCP سرور ساخت که تو محیط سازمانی بهش اعتماد کنی؟ به گفتهٔ این گزارش، ۹ سشن تو دو فاز اجرا شده؛ فاز اول Claude Code با کمترین راهنمایی، و فاز دوم با یه توسعهدهندهٔ باتجربه، فایل CLAUDE.md و رویکرد اول-طرح-بعد-پیادهسازی.
نتیجهای که گزارش اعلام میکنه اینه که از هشت معیار ارزیابی فقط یکی — استراتژی واکشی فیلدها — بدون دخالت انسان قبول شده و سه معیار حتی با راهنمایی متخصص هم حلنشده موند. درستی صفحهبندی و رفتار با دیتاست بزرگ بعد از راهنمایی به Pass رسیدن، ولی چرخهٔ عمر توکن OAuth، مدیریت رابطهٔ بین لیستها و تابآوری در برابر خطا در حد Partial متوقف شدن.
چیزی که نویسنده نگرانکنندهتر میدونه، شکل خرابیهاست: خرابی بیصدا. مثلاً از یه لیست با ۱۳ ستون lookup، سرور بدون هیچ خطایی یکی از ستونها رو از پاسخ حذف کرده. یا موقع خوندن یه لیست ۶۵۰۰ ردیفی، ایجنت بعد از ۵۰۰ نتیجه ایستاده و اشتباهی فکر کرده تو حلقه افتاده، در حالی که بررسی با پراکسی نشون داده هر هشت صفحه درست واکشی شده بودن.
مثالهای دیگهای هم اومده: ستونهای Hyperlink بهجای دادهٔ قابلاستفاده، ارجاع خام به آبجکت جاوا برمیگردوندن؛ و پارامترهای فیلتر و مرتبسازی ظاهراً کار میکردن ولی بیصدا نادیده گرفته میشدن و همیشه کل دیتاست بدون فیلتر برمیگشت. تستها هم روی یه محیط واقعی SharePoint با لیستهای ۳ تا بیش از ۴۰ هزار آیتمی انجام شده، نه دادهٔ ساختگی.
جمعبندی نویسنده اینه که Claude Code تو تولید کدی که کار میکنه خوبه، ولی محیط تولیدی سازمانی کدی میخواد که زیر شرایطی که موقع ساخت اصلاً دیده نشده هم کار کنه، و فاصلهٔ این دوتا از چیزی که به نظر میرسه بیشتره. البته باید در نظر داشت که CData خودش محصول رقیب یعنی Connect AI رو داره و این گزارش کنار یه تحلیل مقایسهای با همون محصول منتشر شده.
نکات کلیدی:
- از ۸ معیار ارزیابی، فقط واکشی فیلدها بدون دخالت انسان قبول شد و ۳ معیار حتی با راهنمایی متخصص هم حل نشد
- خرابیها اغلب بیصدا بودن: حذف یه ستون lookup از پاسخ، بدون خطا و بدون هشدار
- ایجنت موقع خوندن یه لیست ۶۵۰۰ ردیفی، شمارش رو اشتباه گزارش کرد و زودتر ایستاد
- پارامترهای فیلتر و مرتبسازی ظاهراً کار میکردن ولی عملاً نادیده گرفته میشدن
- تست روی SharePoint واقعی با لیستهای تا بیش از ۴۰ هزار آیتم انجام شده، ولی منتشرکنندهٔ گزارش خودش محصول رقیب داره
