تقریباً هیچ‌کس سایت‌مپ رو درست نمی‌سازه
سئوClaude Opus 5خلاصهٔ کامل‌تر
یوست دی‌والک چند وقت پیش یه افزونه‌ی کروم ساخت که سایت‌مپ XML رو خوانا نشون بده، چون مرورگرها دارن XSLT رو حذف می‌کنن. بعد کم‌کم بهش چک هم اضافه کرد و شد Sitemap Inspector: آدرس‌های لیست‌شده رو باز می‌کنه و دنبال ریدایرکت، خطای HTTP، دستور noindex، canonical (یعنی آدرسی که صفحه خودش می‌گه نسخه‌ی اصلی منه) و قواعد Googlebot تو robots.txt می‌گرده. نویسنده می‌گه وقتی افزونه رو روی سایت‌هایی گرفت که انتظار داشت این کارو درست انجام داده باشن، نتیجه غافلگیرش کرد.
یه سایت‌مپ فقط یه وظیفه داره: آدرس‌هایی که می‌خوای تو نتایج جستجو ببینی. گوگل هم می‌گه آدرس‌ها رو دقیقاً همون‌طور که لیست شدن کرال می‌کنه، پس هر ورودی غلط یه کرال رو می‌سوزونه. نویسنده مشکل‌ها رو دو دسته می‌کنه. اولی چیزهایی که مجازن ولی ایده‌آل نیستن، مثل نبودن lastmod یا یه تاریخ مشترک برای ده‌ها صفحه. دومی چیزهایی که صریحاً غلطن: آدرسی که ریدایرکت میشه، خطا می‌ده، noindex داره یا صفحه‌ی دیگه‌ای رو canonical خودش معرفی می‌کنه.
نمونه‌هاش واقعاً عجیبه. تو سایت‌مپ بخش Learn بریتانیای Adobe با ۹۷۸ صفحه، از ۱۰۰ آدرس اولی که چک شده ۹۸ تاشون canonicalشون به یه آدرس دیگه اشاره می‌کرد؛ صفحه‌های آموزش InDesign یه آدرس با اسم template رو به‌عنوان نسخه‌ی اصلی معرفی می‌کردن، یعنی یه placeholder که یادشون رفته عوضش کنن. سایت‌مپ Anthropic هم از ۵۳۷ آدرس، ۲۱ تا noindex داشت که همه‌شون صفحه‌های حقوقی مثل قوانین و حریم خصوصی بودن، به‌علاوه یه ۴۰۴ و چهار ریدایرکت.
سایت‌مپ Manchester City با ۱۹۶۴ صفحه، ۱۲ آدرس تکراری با lastmod متفاوت داشت، یعنی کرالر به یه سؤال دو جواب می‌گیره. از ۱۰۰ آدرس اول هم ۱۷ تا خطا دادن و ۱۶ تا ریدایرکت شدن، که بیشترشون صفحه‌ی بازیکنانی بود که باشگاه رو ترک کردن. GOV.UK از ۵۰۰ آدرس اول، ۱۱۸ تاش noindex بود، عمدتاً آرای دادگاه که اسم افراد توشه. robots.txt سایت X هم به یه سایت‌مپ اشاره می‌ده که اصلاً وجود نداره.
جالب‌ترین مورد Semrushه که خودش ابزار سئو می‌فروشه: تو ایندکس سایت‌مپش ۲۳ سایت‌مپ لیست شده، هیچ‌کدوم lastmod ندارن، سایت‌مپ خبریش ۴۰۴ می‌ده و دو تا از ورودی‌هاش خودشون ایندکس سایت‌مپ هستن، کاری که گوگل صریحاً می‌گه مجاز نیست. به نظر نویسنده ریشه‌ی همه‌ی این‌ها جدا بودن سیستم‌هاست: سایت‌مپ از یه جا ساخته میشه و ریدایرکت و canonical و noindex جای دیگه تعریف می‌شن، و کسی چک نمی‌کنه این دو با هم بخونن. فایل هم که valid باشه، دیگه کسی بازش نمی‌کنه.
نکات کلیدی:
- Adobe UK Learn: از ۱۰۰ آدرس اول، ۹۸ تا canonicalشون به آدرس دیگه‌ای مثل یه template اشاره می‌کنه
- سایت‌مپ Anthropic: ۲۱ صفحه‌ی noindex، یک ۴۰۴ و چهار ریدایرکت از ۵۳۷ آدرس
- سقف پروتکل سایت‌مپ ۵۰ هزار آدرس در هر فایله، و گوگل priority و changefreq رو کامل نادیده می‌گیره
- ایندکس سایت‌مپ نمی‌تونه ایندکس دیگه‌ای رو لیست کنه، ولی Semrush دو تا لیست کرده
- سایت‌مپ‌هایی که Yoast SEO ساخته تمیز دراومدن، چون همون پلاگین هم‌زمان canonical و noindex رو ست می‌کنه
