سئو برای رباتها: تجربهٔ ولتاون از AEO
سئو
هوش مصنوعیخلاصهٔ کاملتر
پیت میلزپا تو بلاگ ولتاون مینویسه عنوان مطلبش بازی با عنوان مقالهٔ معروف هنریک کارلسونه: یک پست وبلاگ در واقع یک کوئری جستوجوی خیلی طولانیه که آدمهای جالب رو پیدا میکنه. به گفتهٔ نویسنده حالا همون نقش رو صفحهٔ داکیومنتیشن برای ایجنتهای هوش مصنوعی بازی میکنه. اسم این ماجرا AEO ـه، یعنی بهینهسازی برای موتورهای پاسخ بهجای موتور جستوجو، و دلیل جدی گرفتنش هم اینه که خلاصههای هوش مصنوعی گوگل کلیک نتایج بالا رو حسابی کم کردن.
قدم اول اندازهگیریه. نویسنده میگه تیرماه امسال متوجه شدن بین کاربرهای Pro جدیدی که منبع ارجاعشون معلوم بوده، بیشترشون از سمت هوش مصنوعی اومدن، عمدتاً Claude. ولی این با آمار کم ترافیک claude.ai جور در نمیاومد، چون خیلی از ارجاعها اصلاً لینک نیستن و مدل فقط از حافظهاش اسم سایت رو تو متن میاره. برای همین سؤال منبع آشنایی رو تو فرم ثبتنام عوض کردن و نرخ پاسخ دو برابر شد؛ منتها چون گزینهٔ اول ثابت بود سهم مشکوکی ChatGPT رو میزدن، پس حالا ترتیب گزینهها رو شافل میکنن.
قدم دوم راه دادن فقط به رباتهای خوبه. آزمایشگاههای هوش مصنوعی معمولاً سه ربات جدا دارن: یکی برای جمعآوری دادهٔ آموزش مثل GPTBot و ClaudeBot، یکی برای ایندکس جستوجو مثل OAI-SearchBot و Claude-SearchBot، و یکی برای وقتی کاربر همون لحظه سؤال میپرسه مثل ChatGPT-User و Claude-User. ولتاون بارها این خزندهها رو تو کلادفلر بسته، و همین اواخر Claude-SearchBot رو بعد از کشیدن نزدیک ۱۰۰ گیگابایت داده در ۲۴ ساعت بلاک کرده.
نکتهٔ ظریف اینه که برای خود AEO باز باید بخشی از سایت برای خزندهها باز باشه، پس قوانین فایروال رو طوری تنظیم کردن که رباتها فقط روی داکس و بلاگ اجازهٔ ورود داشته باشن. نویسنده اشاره میکنه موقع بلاک کردن میشه بهجای پاسخ ۴۰۳، کد ۴۰۲ یا Payment Required برگردوند، یک جور عوارض ترافیکی؛ هرچند خزندهها فعلاً چیزی بابتش نمیدن.
قدم سوم جذب رباتهای بیشتره، و اینجاست که نویسنده مرزش رو مشخص میکنه: تجربهٔ کاربر انسانی نباید قربانی ایجنت بشه. اون یک بار گذاشت Claude بهجاش مقاله بنویسه و حتی بالای متن هم افشا کرد که نوشتهٔ هوش مصنوعیه، ولی آخرش نتونست منتشرش کنه چون شبیه نوشتهٔ خودش نبود. در عوض یک تمپلیت تحقیق AEO ساخت، با دادهٔ Ahrefs یک شکاف جستوجو دربارهٔ ساخت MCP server پیدا کرد و راهنمای اون رو خودش نوشت.
نکات کلیدی:
- AEO مخفف Answer Engine Optimization ـه: بهینهسازی برای جوابی که مدل به کاربر میده، نه رتبهٔ لینک.
- سئوی خوب پایهٔ AEO ـه؛ چیزی که ایندکس شده و لینک گرفته، برای ایجنتها هم پیدا میشه.
- قدم بعدی تیم ساختن eval خودشونه: چند سؤال ثابت از چند مدل، برای اینکه ببینن اسم ولتاون کجا میاد.
- هر آزمایشگاه سه ربات جدا داره: آموزش، ایندکس جستوجو، و مرور لحظهای برای سؤال کاربر.
- Claude-SearchBot بعد از خزش حدود ۱۰۰ گیگابایت در ۲۴ ساعت بلاک شد، ولی داکس و بلاگ باز موندن.
