کلادفلر: از Pay Per Crawl به Pay Per Use
هوش مصنوعی
سئوخلاصهٔ کاملتر
نویسندهٔ این پست کلادفلر با یه صورتمسئلهٔ ساده شروع میکنه: نزدیک سی سال، وب روی یه معاملهٔ نانوشته کار کرد — بذار موتور جستوجو محتوات رو بخزه، در عوض برات بازدیدکننده میفرسته. دیدهشدن و پول درآوردن یه چیز بودن. حالا موتورهای پاسخگو صفحه رو میخونن و خلاصهاش رو دست کاربر میدن، پس اون بازدید — و درآمدی که بهش وابسته بود — دیگه لازم نیست.
برای اینکه این ادعا شعار نباشه، به پژوهش ۲۰۲۵ مرکز Pew استناد میشه: وقتی گوگل خلاصهٔ AI نشون میده، کاربرها فقط در ۸ درصد موارد روی یه نتیجهٔ معمولی کلیک میکنن — تقریباً نصف حالتی که خلاصهای در کار نیست — و فقط در ۱ درصد موارد روی لینک داخل خود خلاصه. نتیجهاش برای صاحب سایت یه دوراهی بده: یا از AI بیرون بمون و سخت پیدا شو، یا بمون و ارزش بده بدون اینکه چیزی برگرده.
به گفتهٔ نویسنده، بلاک کردن فقط قدم اول بود؛ «نه» گفتن از محتوا محافظت میکنه ولی مدل کسبوکاری که ازش تغذیه میکرد رو بازنمیسازه. برای همین دو ابتکار جدید اعلام شده که از حالت دفاعی میرن به حالت تهاجمی و میخوان هر دو نیمهٔ اون معاملهٔ قدیمی رو برگردونن.
اولی یه برنامهٔ تحقیقاتیه برای «هوشمندتر کردن جستوجوی AI». بیش از ۲۰ درصد وب پشت شبکهٔ کلادفلره، پس این شرکت میتونه بگه کدوم صفحه واقعاً تغییر کرده و کجا ترافیک انسانی و رباتی جمع شده. عدد تکاندهنده اینجاست: طبق دادهٔ کلادفلر، بیش از ۵۰ درصد ترافیک خزش رباتهای خوب صرف دوبارهگرفتن صفحههایی میشه که اصلاً عوض نشدن. یه سیگنال سادهٔ «اینجا چیزی تغییر نکرده» میتونه کل اون سفر رو حذف کنه.
تأکید شده که این برنامه بیطرفه: محدود به جستوجوئه، هیچ محتوایی به اشتراک گذاشته نمیشه و چیزی هم برای آموزش مدلهای پایه استفاده نمیشه. قراره یافتهها منتشر بشن و قابلیتش تا آخر امسال بهصورت گسترده در دسترس قرار بگیره.
ابتکار دوم مهمتره: تبدیل Pay Per Crawl به Pay Per Use. استدلال اینه که خزش معیار خامیه — یه صفحه ممکنه یک بار خزیده بشه و بعد تو هزاران پاسخ نقل بشه، یا بارها خزیده بشه و اصلاً استفاده نشه. تو آزمایش با Ceramic.ai مدل «پرداخت بهازای هر کوئری» پیاده شده: ناشری که موافقت کرده، هر بار که محتواش تو نتایج ظاهر میشه پول میگیره. You.com هم رویکرد دیگهای داره — ایجنت بدون تعهد قبلی، همون لحظه بابت یه محتوای خاص پرداخت میکنه.
کنار پول، یه لایهٔ گزارشدهی هم به شرکتکنندهها داده میشه که به کار AEO یا بهینهسازی برای موتورهای پاسخگو میآد: پرکاربردترین کوئریهایی که به نمایش محتوای تو منجر شدن، خود صفحه و تکهمتن نقلشده، و میانگین جایگاهت تو نتایج.
نویسنده صادقانه میگه همهٔ اینا فعلاً آزمایشه و معلوم نیست تو مقیاس کل اینترنت چطور از آب دربیاد. ولی استدلال پایانیاش جالبه: وب انسانی قدیمی جستوجو رو برای صرفهجویی در وقت بهینه کرده بود — ده تا لینک آبی و یه کلیک. تو اینترنت ایجنتی، جستوجو چیزیه که یه ایجنت دهها بار برای یه سؤال انجام میده و بیشتر شبیه یه زیرساخت عمومیه تا یه مقصد. تو اون دنیا واحد ارزش نه خزشه نه کلیک، بلکه خودِ نتیجهست.
نکات کلیدی:
- طبق پژوهش Pew، با نمایش خلاصهٔ AI نرخ کلیک روی نتایج به ۸٪ و روی لینک داخل خلاصه به ۱٪ میرسه
- برنامهٔ تحقیقاتی کلادفلر با سیگنال تازگی محتوا، خزش تکراری رو کم میکنه
- بیش از نیمی از ترافیک خزش رباتهای خوب صرف صفحههای تغییرنکرده میشه
- Pay Per Use جای Pay Per Crawl رو میگیره: پرداخت وقتی محتوا واقعاً در پاسخ استفاده بشه
- گزارشهای جدید AEO: کوئریها، تکهمتن نقلشده و میانگین جایگاه در نتایج
- کلادفلر تأکید میکنه برنامه محدود به جستوجوئه و برای آموزش مدل پایه استفاده نمیشه
