agent-traffic: کتابخونه Mintlify برای جدا کردن ترافیک ایجنتها از آدمها
خلاصهٔ کاملتر
Mintlify مستندات هزاران شرکت رو میزبانی میکنه و ماهانه صدها میلیون درخواست میگیره. به گفته تیمش، قبلاً تقریباً همه این ترافیک از برنامهنویسهایی بود که تو مرورگر داکیومنت میخوندن. ولی حالا سهم بزرگی از ایجنتها میاد: Claude Code که یه صفحه رو وسط کدنویسی میخونه، ChatGPT که با داکیومنت شما جواب میده، یا Cursor که قبل از نوشتن کد API رو چک میکنه. لیستهای ربات قدیمی فقط تیکهای از user agent رو تطبیق میدادن و هرچی خودش ادعا میکرد رو قبول میکردن.
نتیجه شد agent-traffic: یه دیتاست تستشده از user agentها، هدرها و منابع تأیید رسمی ایجنتها و خزندهها، بهاضافه یه classifier کوچیک. هیچ وابستگیای نداره و هرجا fetch کار کنه اجرا میشه: Node، Bun، Deno، Cloudflare Workers و Vercel Edge. خروجی هم همیشه دلیلش رو توضیح میده. مثال خود README:
import { classify } from '@mintlify/agent-traffic'
classify({ userAgent: 'axios/1.13.2' })
// { category: 'bot', kind: 'http-client', name: 'axios', ... }یکی از قابلیتهای مهمش تأیید با IP هست. تابع loadIpRanges رنجهای آیپی منتشرشده OpenAI، Anthropic، Google، Perplexity، Apple، Microsoft، Common Crawl و DuckDuckGo رو دانلود میکنه. حالا اگه یکی بگه من GPTBot هستم ولی آیپیش بیرون از رنج OpenAI باشه، با دسته impersonator (یعنی ربات جعلی) و verified: false شناسایی میشه. ایجنتهای کدنویسی مثل Claude Code چون روی سیستم خود کاربر اجرا میشن، هیچوقت با IP چک نمیشن.
ایجنتهایی که پشت user agent مرورگر قایم میشن هم لو میرن، چون هدر Accept رو طوری میفرستن که text/markdown رو به HTML ترجیح میده و هیچ مرورگری این کارو نمیکنه. گزینه headersComplete هم چک مرورگرهای جعلی رو روشن میکنه، ولی فقط وقتی امنه که هدرها دستنخورده از HTTPS برسن. برای تحلیل لاگها هم پیشنهادشون اینه که هر user agent یکتا رو یه بار classify کنی و نتیجه رو join کنی. ClickHouse، DuckDB و Postgres تست شدن.
خود تیم چند محدودیت رو هم گفته. بعضی محصولها هویت مشترک دارن، مثلاً Codex با ChatGPT-User درخواست میده. مرورگرهای ایجنتی مثل Atlas، Comet یا Claude in Chrome که داخل Chrome خود کاربر اجرا میشن، اصلاً از یه آدم قابل تشخیص نیستن.
نکات کلیدی:
- دستهها: agent، ai-crawler، crawler، bot، human و unknown
- نصب با npm i @mintlify/agent-traffic و بدون هیچ وابستگی
- رنجهای آیپی هشت اپراتور از جمله OpenAI و Anthropic برای کشف ربات جعلی چک میشه
- رنج آیپی قدیمیتر از ۱۸۰ روز (maxRangeAgeDays) نمیتونه درخواستی رو جعلی اعلام کنه
- دیتاست بهصورت JSON خام هم برای زبانهای دیگه و SQL در دسترسه
- لایسنس MIT




