SpiderFoot: ابزار متنباز خودکارسازی OSINT
پایتونخلاصهٔ کاملتر
SpiderFoot یه ابزار متنباز برای خودکارسازی هوش منابع باز یا همون OSINT ـه. کارش اینه که تقریباً به هر منبع دادهٔ در دسترسی وصل میشه و با روشهای مختلف تحلیل، اون دادهها رو طوری مرتب میکنه که راحت بشه توش گشت. این ابزار با پایتون ۳ نوشته شده، مجوز MIT داره و طبق مستنداتش از سال ۲۰۱۲ بهطور فعال توسعه داده میشه.
SpiderFoot هم یه وبسرور توکار داره که یه رابط وب تمیز و ساده میده، و هم میشه کاملاً از طریق خط فرمان اجراش کرد. برای اجراش حداقل به پایتون نسخهٔ ۳.۷ و چندتا کتابخونهٔ پایتون احتیاج داری. توسعهدهندهها توصیه میکنن بهجای شاخهٔ master، یه نسخهٔ بستهبندیشدهٔ پایدار رو نصب کنی چون master معمولاً امکانات تازه و کامل تستنشده داره.
قلب این ابزار بیش از ۲۰۰ ماژولشه که بیشترشون اصلاً به کلید API نیاز ندارن و خیلی از اونهایی هم که نیاز دارن، یه پلن رایگان دارن. این ماژولها تو یه مدل publisher/subscriber به هم داده میدن؛ یعنی خروجی یکی ورودی اون یکی میشه تا بیشترین اطلاعات ممکن استخراج بشه. با همین مدل میشه کارهایی مثل شمارش زیردامنهها، استخراج ایمیل و شماره تلفن و نام افراد، بررسی آسیبپذیری به تصاحب زیردامنه، و پرسوجو از پایگاههای هوش تهدید مثل SHODAN و HaveIBeenPwned و GreyNoise رو انجام داد.
نسخهٔ ۴ یه موتور همبستگی (correlation engine) قابلتنظیم با YAML رو معرفی کرده که با ۳۷ قانون از پیشتعریفشده میاد. خروجی رو میشه به فرمتهای CSV و JSON و GEXF گرفت و یه بکاند SQLite هم داره که اجازه میده روی دادهها کوئری سفارشی بزنی. مجموعهٔ اهدافی که میشه اسکن کرد گستردهست: آدرس IP، دامنه و زیردامنه، سابنت شبکه (CIDR)، ASN، ایمیل، شماره تلفن، نام کاربری، اسم شخص و حتی آدرس بیتکوین.
طبق مستندات، SpiderFoot رو دو جور میشه استفاده کرد: تهاجمی، مثلاً تو یه تمرین رد تیم یا تست نفوذ برای شناسایی هدف؛ و تدافعی، برای اینکه بفهمی خودت یا سازمانت چه چیزهایی رو روی اینترنت در معرض دید گذاشتی. یهسری امکانات پیشرفتهتر مثل ادغام با TOR برای جستجوی وب تاریک، Dockerfile برای استقرار، و توانایی صدا زدن ابزارهای دیگه مثل Nmap و DNSTwist و WhatWeb هم داره.
برای کسایی که به بیشتر احتیاج دارن، یه نسخهٔ تجاری به اسم SpiderFoot HX هم هست که کاملاً ابری و مدیریتشدهست و امکاناتی مثل مانیتورینگ سطح حمله با اعلان تغییرات، چند هدف در هر اسکن، همکاری چندکاربره و API کامل REST رو میده.
نکات کلیدی:
- SpiderFoot یه ابزار متنباز پایتونی با مجوز MIT برای خودکارسازی OSINT ـه
- بیش از ۲۰۰ ماژول داره که تو مدل publisher/subscriber به هم داده میدن
- هم رابط وب توکار داره و هم از خط فرمان کار میکنه
- میشه ازش هم تهاجمی (تست نفوذ) و هم تدافعی (بررسی افشای سازمان) استفاده کرد
- نسخهٔ ۴ یه موتور همبستگی قابلتنظیم با YAML و ۳۷ قانون آماده معرفی کرده
