ربات‌های هوش مصنوعی واقعاً چی از یه سایت می‌خونن؟
سئو
هوش مصنوعیخلاصهٔ کامل‌تر
نویسنده سایت شخصیش رو با همهٔ چیزهایی که برای «AI friendly» بودن پیشنهاد میشه تجهیز کرده: یه robots.txt که کراولرهای AI رو راه می‌ده، فایل llms.txt، نسخهٔ Markdown هر صفحه، فیدهای کامل، structured data، یه AI Catalog و حتی یه MCP server. بعد ۱۸ روز لاگ Cloudflare (۳۰ سپتامبر تا ۱۷ اکتبر ۲۰۲۶) رو خونده تا ببینه کدوم در واقعاً باز میشه. فقط ربات‌هایی رو شمرده که Cloudflare تأییدشون کرده، چون مثلاً ۱۱۳ درخواست اسم PerplexityBot رو داشتن ولی تأیید نشده بودن.
صفحه‌های HTML هنوز بیشترین بار رو می‌کشن: هر ۱۴ کراولر تحت نظر صفحه‌ها رو گرفتن و ۱۵٬۴۳۱ درخواست صفحه ثبت شد، در برابر ۴۳۲ درخواست برای نسخه‌های Markdown. ClaudeBot تنهایی ۱۲۲ بار sitemap رو گرفت. نکتهٔ مهم رندرینگه: کراولرهای OpenAI، Anthropic و Perplexity جاوااسکریپت اجرا نمی‌کنن، یعنی صفحه‌ای که متنش تو مرورگر ساخته میشه ممکنه برای اونا خالی باشه. گوگل هم می‌گه برای AI Overviews به markup یا llms.txt خاصی نیازی نیست.
دربارهٔ llms.txt (یعنی یه فایل Markdown تو ریشهٔ سایت که نقشهٔ خلاصهٔ سایت رو به مدل‌های زبانی می‌ده) نتیجه جالبه: تو ۱۷ روز هیچ کراولر AI یا موتور جستجوی تأییدشده‌ای سراغش نرفت و تنها درخواست تأییدشده از Claude-User بود. مطالعهٔ Ahrefs روی ۱۳۷٬۲۱۰ سایت هم نشون داده ۹۷٪ این فایل‌ها تو یه ماه هیچ درخواستی نگرفتن. ولی ابزارهای کدنویسی مثل Codex و Claude Code می‌خوننش، پس نویسنده می‌گه نگهش دارین چون ارزونه.
نسخه‌های Markdown غافلگیری اصلی بودن: یه روز بعد از انتشار، کراولرهای تأییدشده شروع کردن به گرفتنشون و ۷ کراولر ۱۴۳ تا از ۱۵۲ درخواست غیرخودی رو زدن. احتمالاً از طریق لینک rel="alternate" با نوع text/markdown توی head هر صفحه پیداشون کردن. راه دیگه content negotiation هست، یعنی کلاینت با هدر Accept: text/markdown همون آدرس صفحه رو بخواد؛ فعلاً بیشتر ابزارهای توسعه مثل Claude Code و VS Code این کارو می‌کنن.
فیدها رو بیشتر فیدخوان‌ها می‌خونن و بیشتر درخواست‌ها فقط می‌پرسن چیزی عوض شده یا نه (۴۰۱ از ۵۵۱ پاسخ 304 Not Modified بود). MCP server سایت هم تو سه روز و نیم حدود ۳۰۰ اتصال و ۲۹ فراخوانی ابزار داشت، اونم از کلاینت‌ها و دایرکتوری‌های MCP نه کراولرها. هنوز هیچ کلاینت اصلی خودش MCP server یه سایت رو پیدا نمی‌کنه و آدرسش رو باید خودتون بدین.
نکات کلیدی:
- بیشترین ترافیک AI روی صفحه‌های HTML، robots.txt و sitemap بود؛ ClaudeBot ۱۲۲ بار sitemap رو گرفت.
- تو ۱۷ روز هیچ کراولر تأییدشده‌ای llms.txt رو نگرفت؛ خواننده‌هاش بیشتر coding agentها هستن.
- کراولرهای OpenAI، Anthropic و Perplexity جاوااسکریپت اجرا نمی‌کنن، پس محتوا باید تو HTML سرور باشه.
- نسخه‌های Markdown با لینک rel="alternate" یه روز بعد از انتشار پیدا شدن.
- فقط ربات‌های تأییدشده رو بشمرین؛ اسم کراولر تو user agent چیزی رو ثابت نمی‌کنه.
- پلن رایگان Cloudflare ۳۱ روز آمار کراولرها رو نگه می‌داره ولی هدر Accept و referrer رو نشون نمی‌ده.
