‏آیا Claude واقعاً rsync رو خراب کرد؟ یه بررسی آماری

تو اواخر اردیبهشت ۲۰۲۶، ابزار قدیمی و محبوب rsync سر استفاده از Claude تو توسعه‌ش به جنجال کشیده شد. به روایت نویسنده، همه‌چیز از یه پست تو Mastodon شروع شد که بدون هیچ مدرکی یه رگرسیون رو به کامیت‌های Claude ربط داد، بعد به Hacker News سرایت کرد و آخرش به یه ایشوی گیت‌هابی با ۳۵۰ کامنت رسید که از نگرانی منطقی تا تهدید و فحاشی همه‌چی توش بود. ادعای مرکزی همه هم یکی بود: توسعه با کمک Claude یه ابزار پایدار رو پر از باگ کرده.

نویسنده می‌گه به‌جای جواب دادن با همون «حس و حال»، تصمیم گرفته قضیه رو تجربی بسنجه. اون داده‌ی باگ ۳۶ نسخه (از v2.4.6 تا v3.4.3) رو از سه منبع جمع کرده: ایشوهای گیت‌هاب، Bugzilla و لیست ایمیلی rsync. فقط دو نسخه کامیت Claude داشتن: v3.4.2 و v3.4.3.

معیار اصلی تحلیل، چیزیه که نویسنده اسمش رو گذاشته باگ وزن‌دار بر اساس شدت به ازای هر ۱۰ کامیت (sev/10c). یعنی به‌جای شمردن خشک‌وخالی باگ‌ها، هر باگ یه نمره شدت از ۰ تا ۱۰۰ گرفته تا یه تایپو با یه باگ از‌دست‌رفتن داده یکی حساب نشه. جالب اینکه برای نمره‌دادن به شدت باگ‌ها، از یه مدل زبانی متن‌باز کوچیک (Qwen 3) با دمای صفر برای قطعی‌بودن نتیجه استفاده شده و خروجی هم با structured output فقط یه عدد بوده.

نتایج به نفع منتقدها نیست. تو یه exact permutation test مقدار p برابر ۴۶٪ درمیاد؛ یعنی اگه دو نسخه تصادفی برداری، تقریباً نصف مواقع به همون بدی یا بدتر می‌شه. تست Fisher هم با p برابر ۷۴٪ و نسبت شانس ۱.۰۶ نشون می‌ده نسخه‌های Claude هیچ شانس بیشتری برای افتادن بالای میانه ندارن. نویسنده می‌گه دو نسخه‌ی Claude درست محدوده‌ی میانی توزیع (IQR) رو از دو طرف مخالف بغل کردن؛ یکی پایین‌تر، یکی بالاتر، و هیچ‌کدوم پرت (outlier) نیستن.

نویسنده یه اعتراض احتمالی رو هم بررسی کرده: شاید Claude سرعت توسعه رو انقدر برده بالا که حجم کد و در نتیجه باگ‌ها زیاد شده. داده می‌گه نسخه‌های Claude واقعاً خطوط کد خیلی بیشتری تغییر دادن (با p برابر ۵٪ معنادار)، ولی تعداد باگ وزن‌دارشون بیشتر نبوده. به تعبیر نویسنده: کد بیشتر، باگ همون‌قدر؛ که دقیقاً برعکس چیزیه که اگه Claude اوضاع رو خراب می‌کرد انتظار می‌رفت.

به گفتهٔ نویسنده بخش موردعلاقه‌ش اینه که باگ‌خیزترین نسخه‌ی کل تاریخ rsync یعنی v3.4.1 با اختلاف زیاد، کاملاً قبل از Claude بوده (۵۹ باگ تو ۹ کامیت) و هیچ‌کس بهش اعتراضی نکرد، چون دشمنی به اسم AI وجود نداشت که بشه مقصر دونستش. نویسنده تأکید می‌کنه که نمی‌خواد بگه Claude در آینده هیچ‌وقت چیزی رو خراب نمی‌کنه؛ فقط می‌گه برای این دو نسخه‌ی خاص هیچ شواهدی از آسیب نیست و خشمی که راه افتاده کاملاً بی‌دلیله.

نکات کلیدی:

• جنجال از یه پست بی‌مدرک شروع شد و به یه ایشوی گیت‌هابی با ۳۵۰+ کامنت و تهدید رسید
• تحلیل ۳۶ نسخه با معیار باگ وزن‌دار بر اساس شدت (sev/10c) انجام شده
• تست permutation با p=۴۶٪ و تست Fisher با p=۷۴٪ هیچ تفاوت معناداری برای نسخه‌های Claude پیدا نکردن
• نسخه‌های Claude کد خیلی بیشتری تغییر دادن ولی باگ بیشتری نداشتن
• باگ‌خیزترین نسخه تاریخ rsync (v3.4.1) کاملاً قبل از Claude بوده و کسی اعتراض نکرد