همکاری Cloudflare و OpenAI برای جستوجوی سریعتر AI
هوش مصنوعی
سئوخلاصهٔ کاملتر
به گزارش این مقاله، Cloudflare و OpenAI روز ۸ ژوئیهی ۲۰۲۶ یه پایلوت تحقیقاتی اعلام کردن که دیدِ Cloudflare به رفتار ترافیک و تغییرات محتوا تو شبکهی جهانیش رو با زیرساخت جستوجو و پاسخِ OpenAI ترکیب میکنه. Cloudflare میگه پشت بیش از ۲۰٪ وب نشسته و همین بهش دیدِ گستردهای میده به اینکه صفحهها چطور عوض میشن و ترافیک انسانی و خودکار چطور حرکت میکنه. هدف اعلامیشون محدوده: بالابردن دقت و بهروزبودنِ جوابهای AI با کمک به خزندهها تا فرقِ یه صفحهی واقعاً تغییرکرده و یه صفحهی دستنخورده رو بفهمن.
طبق گفتهی Cloudflare، این ترتیب از همون سیگنالهای بلادرنگی استفاده میکنه که شرکت از قبل جمع میکنه: تازگیِ محتوا، کیفیت ترافیک، و تغییرات واقعی صفحه. هیچکدوم از دو شرکت مشخصات فنیِ اینکه سیگنالها چطور منتقل میشن یا OpenAI چطور اونها رو در برابر منطق خزشِ فعلیش وزن میده رو منتشر نکردن و ماجرا رو یه پایلوتِ اکتشافی توصیف کردن. Matthew Prince، مدیرعامل Cloudflare، میگه با اشتراک سیگنالهای شبکه میشه جستوجوی AI رو کارآمدتر کرد؛ و Nick Ryder از OpenAI هم میگه اطلاعات بهروز برای جوابِ دقیق به کاربرهای ChatGPT مهمه.
دربارهی دامنه و محدودیتها، شرکتها نگفتن کدوم سایتها شرکت دارن، چه محافظتهایی سرِ اشتراک داده اعمال میشه، یا کِی قراره نتیجه رو گزارش کنن. هیچ شرط تجاریای هم همراه اعلامیه نبوده؛ چیزی نشون نمیده که ناشرها تو این پایلوت پول بگیرن یا بدن. این خبر یه هفته بعد از حرکت مهمترِ Cloudflare اومده: روز اول ژوئیه، شرکت اعلام کرد داره از دریافت هزینه بابت هر بار خزش، بهسمت پرداخت به ناشرها بر اساس اینکه محتواشون واقعاً تو جوابِ AI ظاهر شده یا نه حرکت میکنه.
نویسنده میگه استدلال «تازگی» یهشبه ساخته نشده. تو اون اعلامیهی اول ژوئیه، Cloudflare مدعی شد بیش از نصفِ ترافیک خزشِ رباتهای بهظاهر مجاز صرفِ باز-واکشیِ صفحههایی میشه که از دیدار قبلی تغییری نکردن. تحقیق مشترکِ آوریلِ Cloudflare و ETH Zurich هم گفته بود ترافیک خزندههای AI فرضیات کشِ استاندارد وبو میشکنه، چون بیش از ۹۰٪ صفحههایی که خزندههای بزرگ مثل Common Crawl پردازش میکنن از نظر محتوا یکتان. دادهی رادار Cloudflare تو ژوئنِ ۲۰۲۶ هم نشون داد رباتها ۵۷.۴٪ کل ترافیک HTML رو تشکیل میدن.
رابطهی Cloudflare و OpenAI سابقهی ثبتشده داره: تا آگوستِ ۲۰۲۵ نسبت خزشبهارجاعِ ربات OpenAI ۱۰۹۱ خزش بهازای هر ارجاع بوده، در حالی که خزندهی یه شرکت رقیب برای هر یک بازدید ارجاعشده ۳۸ هزار صفحه رو میخونده. Prince قبلاً OpenAI رو نسبت به بعضی رقبا «بازیگر خوب» توصیف کرده بود. نویسنده به پژوهشهای مستقل هم اشاره میکنه: مطالعهی Pew نشون داد وقتی خلاصههای AI گوگل ظاهر میشن کاربرها فقط تو ۸٪ موارد روی نتیجهی سنتی کلیک میکنن، و تحلیل Ahrefs افتِ کلیک روی نتیجهی اولِ ارگانیک رو از ۳۴.۵٪ (آوریل ۲۰۲۵) به ۵۸٪ (فوریه ۲۰۲۶) گزارش کرد.
نویسنده میگه برای ناشرها و تیمهای بازاریابی این یه پیشرفتِ فنیتر و باریکتر از مدلِ پرداختِ اول ژوئیهست، ولی روی همون فرضیه سواره: خزشی که با سیگنالهای کهنه هدایت میشه منابع رو دوطرفه هدر میده. اگه پایلوت ثابت کنه سیگنالهای تازگیِ سطحِ شبکه واقعاً خزشِ بیمورد رو کم میکنه، ناشرهایی که رو زیرساخت Cloudflareان میتونن بارِ سرورِ کمتری از ترافیک رباتِ AI ببینن. ولی چون هیچ شرط مالی، سازوکار انتخابِ ناشر یا معیار موفقیتِ قابلاندازهگیری اعلام نشده، اثر عملیش رو هر ناشر هنوز قابلارزیابی نیست.
نکات کلیدی:
- پایلوت تحقیقاتیِ Cloudflare و OpenAI: اشتراک سیگنالهای بلادرنگِ شبکه با جستوجوی OpenAI
- هدف: تشخیص صفحهی تغییرکرده از دستنخورده تا خزشِ بیمورد کم و جوابها بهروزتر بشن
- Cloudflare میگه بیش از نصفِ خزشها صرفِ باز-واکشیِ صفحههای تغییرنکرده میشه
- هیچ مشخصات فنی، شرط مالی یا معیار موفقیتِ روشنی اعلام نشده
