یه تلهٔ ساده که ترافیک رباتها رو 80 درصد کم کرد
خلاصهٔ کاملتر
نویسندهٔ وبلاگ shkspr.mobi میگه سایت سرگرمیش، OpenBenches.org، ماه گذشته بیش از 2.5 ترابایت دیتا منتقل کرده. ولی دلیلش محبوبیت نبوده؛ رباتهای هوش مصنوعی مدام سایت رو crawl میکردن و عکسها رو میکشیدن. برای همین ابزاری به اسم B6 ساخته که یه تلهٔ بیرحم برای این رباتهاست. ایدهش کمی از Blackhole ساختهٔ Jeff Starr گرفته شده، ولی حتی روی سایتهایی با کش سنگین هم کار میکنه.
روش کار یه honeypot هست، یعنی صفحهای که فقط برای به دام انداختن ساخته شده. اول یه پوشه مثل /honeypot/ میسازی و تو robots.txt (فایلی که به رباتها میگه کجا نرن) صریحاً ممنوعش میکنی:
User-agent: *
Disallow: /honeypot/بعد تو همهٔ صفحههای سایت یه لینک مخفی به این پوشه میذاری. این لینک aria-hidden داره، متنش یه کاراکتر نامرئی (zero width joiner) هست و با CSS هم پنهان میشه. پس کاربر عادی نمیتونه ببینه یا کلیکش کنه، و ربات محترم هم به خاطر robots.txt سراغش نمیره. فقط رباتهایی که قانون رو زیر پا میذارن واردش میشن.
وقتی کسی صفحهٔ honeypot رو باز کنه، یه اسکریپت PHP آدرس IP و User-Agentش رو برمیداره و با تاریخ به یه بخش مخصوص لیست سیاه تو فایل .htaccess اضافه میکنه. این فایل تنظیمات Apache رو نگه میداره. قانونهای RewriteCond روی REMOTE_ADDR باعث میشن اون IP از این به بعد کد خطای 402 بگیره، یعنی همون کدی که معنیش «اول پول بده» هست. نویسنده تأکید میکنه که این قانونها باید قبل از بقیهٔ rewrite ruleها بیان.
نویسنده مشکلات احتمالی رو هم صادقانه گفته. بعضی رباتهای مفید robots.txt رو نادیده میگیرن و باید دستی از لیست درشون بیاری. رباتها معمولاً از IPهای هکشده استفاده میکنن، پس بعداً ممکنه یه آدم بیگناه بلاک بشه؛ پیشنهادش پاک کردن دورهای بلاکهای قدیمیه. ربات باهوش هم ممکنه از مسیری به اسم honeypot یا لینکی که CSS مخفیش کرده دوری کنه، پس بهتره اسم بهتری انتخاب کنی. با هزاران IP هم شاید پارس .htaccess کمی کند بشه، ولی به نظر نویسنده ارزش نگرانی نداره.
به گفتهٔ نویسنده، برخلاف روشهایی مثل چک کردن هدر زبان یا User-Agent قدیمی، B6 هیچ false positive نداره. ابزاری مثل Anubis هم راهاندازی سختی داره و کاربرها رو اذیت میکنه. نتیجه بعد از یه هفته: بیش از 400 IP بلاک شده و انتقال دیتا از اوج 216 گیگابایت در روز به حدود 25 گیگابایت رسیده. کد با لایسنس AGPL v3 در اختیار بقیهست.
نکات کلیدی:
- تله شامل یه مسیر ممنوع تو robots.txt و یه لینک مخفی تو همهٔ صفحههاست
- هر IPی که وارد تله بشه، تو .htaccess ثبت میشه و کد 402 میگیره
- بعد از یه هفته بیش از 400 IP بلاک شد و ترافیک از 216 به حدود 25 گیگابایت در روز رسید
- ریسک اصلی، بلاک شدن کاربرهای بیگناه روی IPهای هکشدهست
- کد با لایسنس AGPL v3 منتشر شده




