‏Cloudflare گزینه‌ی Disallow AI Training رو اضافه کرد

Cloudflare تو این پست از یه تنظیم جدید به اسم Disallow AI Training خبر داده. مشکل از mixed-use crawlerها شروع می‌شه، یعنی ربات‌هایی که یه‌جا هم برای ایندکس سرچ کار می‌کنن هم برای ترین مدل. تا حالا صاحب سایت اگه این ربات رو می‌بست، از سرچ هم حذف می‌شد. به گفته‌ی Cloudflare، کمتر از ۱٪ سایت‌هاش ربات‌های سرچ رو می‌بندن، ولی ۱۷٪ یه جوری جلوی ترین رو گرفتن.

این تنظیم یه دستور Disallow: تو robots.txt منتشر می‌کنه. Cloudflare می‌گه robots.txt به‌تنهایی کافی نیست، چون نمی‌تونه تشخیص بده کی و چرا داره سایت رو می‌گرده، یا جلوی رباتی که نادیده‌ش می‌گیره رو بگیره. ولی شبکه‌ی Cloudflare ربات رو شناسایی می‌کنه، رفتارش رو تو سه دسته‌ی Search، Training و Agent طبقه‌بندی می‌کنه و اونایی که قاعده رو رعایت نمی‌کنن رو می‌بنده. گزارش رفتار هر اپراتور هم تو Radar منتشر می‌شه.

برای مشخص کردن اپراتورهای قابل اعتماد، Cloudflare برچسب Accountable رو ساخته. شرط‌هاش اینه: راهی برای opt-out از ترین، راهی برای opt-out از خلاصه‌های هوش مصنوعی، گزارش در سطح URL از صفحه‌هایی که برای ترین استفاده شدن، و تضمین اینکه opt-out از ترین به رتبه‌ی سرچ ضربه نزنه. Apple، Google و Microsoft این برچسب رو گرفتن. Amazon، Anthropic، Meta و OpenAI هم Accountable حساب می‌شن، چون ربات سرچ و ترینشون از هم جداست.

از ۱۵ سپتامبر، گزینه‌های بخش Training این‌ها هستن: Allow، Disallow AI Training، Block on pages with ads و Block. نکته‌ی مهم اینه که Block حالا ربات‌هایی مثل Googlebot، Applebot و Bingbot رو هم می‌بنده، یعنی سرچ هم از دست می‌ره. پس اگه فقط نمی‌خوای محتوات برای ترین استفاده بشه، باید Disallow AI Training رو انتخاب کنی. Block AI Bots و Managed Robots.txt هم کنار گذاشته می‌شن، ولی تنظیمات فعلی خودکار منتقل می‌شن و تو اکثر موارد کاری لازم نیست.

هر شرکت روش خودش رو داره: Applebot با قاعده برای Applebot-Extended و Googlebot با Google-Extended تو robots.txt opt-out از ترین رو پشتیبانی می‌کنن. Bing فعلاً از متاتگ NOARCHIVE استفاده می‌کنه و پشتیبانی از robots.txt رو برای اوایل ۲۰۲۷ برنامه‌ریزی کرده. تا اون موقع Disallow AI Training خودکار روی Bing اثری نداره. برای Agentها هم هنوز گزینه‌ی Disallow نیست، چون استاندارد جاافتاده‌ای براش وجود نداره.

قدم بعدی Cloudflare خلاصه‌های هوش مصنوعی هست. طبق آماری که آورده، بیشتر از نصف کاربرها این خلاصه‌ها رو تو سرچ می‌خونن و احتمال اینکه بعدش جست‌وجو رو تموم کنن بیش از ۴۰٪ بیشتره. از اون طرف، بازدیدکننده‌هایی که از AI Search میان سه تا بیش از پنج برابر بیشتر خرید یا ثبت‌نام می‌کنن. هدف اینه که تا اوایل سال بعد، مقدار استفاده از محتوات تو خلاصه‌ها رو یه بار تو Cloudflare تنظیم کنی.

نکات کلیدی:

• Disallow AI Training سایت رو تو سرچ نگه می‌داره ولی جلوی ترین رو می‌گیره
• گزینه‌ی Block از ۱۵ سپتامبر Googlebot، Applebot و Bingbot رو هم می‌بنده و سرچ رو هم قطع می‌کنه
• Block AI Bots و Managed Robots.txt جاشون رو به کنترل‌های Search/Training/Agent و Bot Preference Sync می‌دن
• پشتیبانی Bing از no-training تو robots.txt برای اوایل ۲۰۲۷ برنامه‌ریزی شده
• این کنترل‌ها برای همه‌ی مشتری‌ها و همه‌ی پلن‌ها در دسترسه