۹۹ درصد ترافیک سایتم بات بود
هوش مصنوعیخلاصهٔ کاملتر
نویسنده، صاحب PatronView (یه دیتابیس عمومی از خیّرین آمریکایی با ۱.۵ میلیون صفحهٔ پروفایل)، تجربهٔ یک سال جنگیدنش با باتها رو تعریف میکنه. تو هفتهٔ انتشار پست، سرورش ۲.۵ میلیون درخواست جواب داده و ۱.۲۸ میلیون صفحهٔ کامل سرو کرده، ولی ابزار آمارش فقط ۵۹۷۷ بازدید ثبت کرده بود؛ یعنی به ازای هر لود صفحهای که میبینه، حدود ۲۱۴ تای دیگه اتفاق میافته که اصلاً نمیبینتش.
به گفتهٔ نویسنده اگه فقط به آمارگیرهای جاوااسکریپتی مثل Plausible یا Google Analytics نگاه کنی، هیچ تصوری نداری چی داره به سرورت میخوره — باید لاگ خود سرور رو ببینی. ماجرا از کراولرهای سئو مثل SemrushBot و AhrefsBot شروع شد، بعد آوریل امسال تو یه روز ۳.۶ میلیون درخواست از ۳۶۱ هزار آیپی تقریباً همه از چین اومد. نویسنده کاری رو کرد که معمولاً توصیه نمیشه: کل کشور چین رو لبهٔ شبکه بلاک کرد، بعدش ویتنام و سنگاپور رو.
جالبترین عدد پست مال کراولرهای هوش مصنوعیه. نویسنده یه معیار ساخته: صفحهٔ کراولشده به ازای هر بازدیدکنندهٔ ارجاعی. Claude-SearchBot تو یه هفته ۴۲۰ هزار صفحه خونده بود در حالی که همون هفته فقط ۱۲ بازدیدکنندهٔ انسانی فرستاده — نسبت ۳۵٬۰۰۰ به ۱. بعد از بلاک، درخواستهاش از روزی ۶۰ هزار به حدود ۲۵ تا افتاد؛ یعنی کراولرهای مؤدب واقعاً به پاسخ ۴۰۳ احترام میذارن. Amzn-SearchBot با روزی ۱۱۷ هزار درخواست هم همین سرنوشت رو پیدا کرد.
یه بخش خواندنی دیگه دربارهٔ هزینهٔ خودِ دفاعه: قابلیت JavaScript Detections کلادفلر روی هر صفحه اسکریپت تزریق میکرد که روی موبایل میانرده ۲۸۷۵ میلیثانیه وقت میگرفت، در حالی که کل جاوااسکریپت خود سایت ۲۷۸ میلیثانیه بود. با خاموشکردنش نمرهٔ Lighthouse موبایل از ۵۸ به ۹۹ رسید — ولی پنج ساعت بعد یه اسکرپر روی Azure تو یه ساعت ۲۳ هزار صفحه برداشت. سختترین حریف هم باتنتهای خانگیان که از آیپیهای اینترنت خونگی میان و نه فیلتر جغرافیایی میگیردشون نه فیلتر دیتاسنتر.
نویسنده الان نه قانون روی WAF کلادفلر (پلن ۲۵ دلاری) اجرا میکنه: بلاک چین و ویتنام، بلاک ۱۲ کراولر سئو و کراولرهای AI با نسبت بد، رد شدن بقیهٔ قوانین برای باتهای تأییدشده مثل گوگلبات، و چالش برای همهٔ قارهها جز آمریکای شمالی، user-agent خالی، ۴۶ ASN دیتاسنتری، مرورگرهای قدیمی و ریتلیمیت. نرخ حل چالشها ۰.۲۴ درصده، یعنی تقریباً همهشون بات بودن. به باور نویسنده راهحل واقعی اقتصادیه — چیزی شبیه pay-per-crawl — و تا اون موقع قانونش سادهست: کراولری که بازدیدکننده نمیفرسته، بلاک میشه.
نکات کلیدی:
- به ازای هر بازدید انسانی حدود ۲۱۴ بار صفحه برای باتها لود میشه
- آمارگیرهای جاوااسکریپتی کمتر از نیم درصد ترافیک واقعی سرور رو میبینن
- Claude-SearchBot به ازای هر بازدیدکننده ۳۵ هزار صفحه کراول کرده بود
- بلاک بر اساس ASN جواب میده، بلاک بر اساس IP نه؛ چون آیپیها مدام عوض میشن
- باتنتهای خانگی از هر دو فیلتر جغرافیا و دیتاسنتر رد میشن
- نرخ حل چالش ۰.۲۴ درصد یعنی قانون داره فقط باتها رو میگیره، نه آدمها
