کلادفلر جلوی خزندههای رایگان هوش مصنوعی رو میگیره
هوش مصنوعیخلاصهٔ کاملتر
کلادفلر یه ضربالاجل جدید برای صنعت هوش مصنوعی گذاشته. از ۱۵ سپتامبر ۲۰۲۶، تنظیمات پیشفرض این شرکت خزندههای «چندمنظوره» رو بهصورت خودکار از هر صفحهای که تبلیغ داره بلاک میکنه، مگه اینکه صاحب سایت خودش این تنظیمات رو عوض کنه. منظور از خزندهٔ چندمنظوره اونیه که هم برای جستوجو، هم برای عاملهای هوش مصنوعی و هم برای آموزش مدلها استفاده میشه.
این تغییر پیشفرض روی مشتریهای جدید، سایتهای تازهای که مشتریهای فعلی میسازن، و همهٔ مشتریهای رایگان فعلی اعمال میشه. هدفش هم روشنه: کلادفلر میخواد شرکتهای هوش مصنوعی خزندهٔ جستوجو رو از خزندهٔ آموزش و عامل جدا کنن تا ناشرها بتونن جلوی استفادهٔ رایگان از محتواشون رو بگیرن.
به گفتهٔ کلادفلر، بیشتر صاحبهای سایت دلشون میخواد محتواشون تو جستوجو و حتی سرویسهای هوش مصنوعی پیدا بشه، ولی نمیخوان مالکیت فکریشون مجانی دست کسی بیفته. این شرکت مستقیم به «بزرگترین موتور جستوجوی دنیا» (یعنی گوگل) اشاره میکنه که حدود دو برابر بقیه به اطلاعات دسترسی داره، چون سخت میکنه که سایتها بدون استفادهشدن برای هوش مصنوعی، تو نتایج بمونن.
گوگل قبلاً این حرف رو رد کرده و میگه رباتی به اسم Google Extended داره که با اون صاحب سایت میتونه محتواش رو از آموزش و محصولات هوش مصنوعی مثل Gemini کنار بذاره، بدون اینکه رتبهش تو جستوجو خراب بشه. البته Googlebot اصلی همچنان برای جستوجو، از جمله قابلیتهای هوش مصنوعی مثل AI Overviews، صفحهها رو میخزه.
متیو پرینس، همبنیانگذار و مدیرعامل کلادفلر، میگه حالا که بیشتر ترافیک اینترنت غیرانسانیه — رباتها برای اولین بار از ترافیک انسانی جلو زدن — باید سریعتر عمل کرد تا یه اکوسیستم پایدار شکل بگیره. به گفتهٔ نویسنده، این اتفاق زودتر از پیشبینیها که سال بعد رو میگفتن، افتاده.
کلادفلر ابزار Pay Per Crawl خودش، که به سایتها اجازه میداد بابت خزیدن از رباتهای هوش مصنوعی پول بگیرن، رو داره به Pay Per Use تبدیل میکنه؛ یعنی ناشر وقتی پول میگیره که محتواش ارزش تولید کنه، نه فقط وقتی که صرفاً دریافت بشه. این کار به صرفهجویی پهنایباند هم کمک میکنه، چون طبق دادههای کلادفلر بیش از ۵۰٪ ترافیک خزندههای هوش مصنوعی صرف دوبارهگرفتن صفحههایی میشه که اصلاً تغییری نکردن. فعلاً هم با دو شریک، Ceramic.ai و You.com، کار رو شروع کرده.
نکات کلیدی:
- از ۱۵ سپتامبر ۲۰۲۶ خزندههای چندمنظورهٔ هوش مصنوعی بهصورت پیشفرض از صفحههای تبلیغدار بلاک میشن
- هدف، جداکردن خزندهٔ جستوجو از خزندهٔ آموزش و عاملهاست
- کلادفلر گوگل رو به داشتن حدود دو برابر دسترسی به اطلاعات متهم میکنه
- Pay Per Crawl داره به Pay Per Use تبدیل میشه: پول بابت ارزش محتوا، نه صرف دریافت
- بیش از ۵۰٪ ترافیک خزندههای هوش مصنوعی صرف دوبارهگرفتن صفحههای بدون تغییر میشه
