‏گوگل از یه کنترل مشترک برای آموزش هوش مصنوعی تو robots.txt حمایت می‌کنه

گوگل تو وبلاگ Search Central اعلام کرده که از یه کنترل مشترک برای آموزش هوش مصنوعی تو فایل robots.txt پشتیبانی می‌کنه. این پیشنهاد از کار گروه کاری AIPREF تو IETF (یعنی نهادی که استانداردهای اینترنت رو تعریف می‌کنه) درومده. هدفش اینه که صاحب سایت مجبور نباشه برای هر شرکت هوش مصنوعی یه دستور جدا بنویسه.

روش کار اینطوریه که سایت‌ها یه policy token مشترک (یعنی یه کلمهٔ کلیدی استاندارد که همهٔ شرکت‌ها می‌فهمن) تو robots.txt می‌ذارن و باهاش ترجیحشون دربارهٔ آموزش AI رو اعلام می‌کنن. اگه سایتی با این توکن آموزش رو ممنوع کنه و اسمی از Google-Extended نیاورده باشه، گوگل اونو دقیقاً مثل این حساب می‌کنه که Google-Extended رو disallow کرده. Google-Extended همون کنترلیه که گوگل از سال 2023 برای آموزش AI داره.

کنترل‌های اختصاصی هر شرکت هم کنار این سیگنال مشترک کار می‌کنن. یعنی می‌تونی با سیگنال مشترک یه تصمیم کلی بگیری و بعد برای یه شرکت خاص مثل گوگل استثنا بذاری. گوگل می‌گه سایت‌هایی که Google-Extended رو صریحاً مجاز کنن، می‌تونن تو جواب‌های Gemini Apps از طریق grounding (یعنی وقتی مدل به منبع واقعی ارجاع می‌ده) دیده بشن و کلیک بگیرن.

به گفتهٔ گوگل، این پیشنهاد جواب درخواست ناشرها، گروه‌های مدنی و نهادهای نظارتیه که کنترل یکپارچه می‌خواستن. با آیین‌نامهٔ اتحادیهٔ اروپا برای مدل‌های هوش مصنوعی عمومی (GPAI) زیر قانون EU AI Act هم هماهنگه، که robots.txt رو روش اصلی اعلام ترجیح ناشرها می‌دونه. بقیهٔ واژگان AIPREF هنوز در حال بحثه و فقط تعریف «آموزش AI» فعلاً نهایی شده. گوگل می‌خواد این کنترل رو همراه با بقیهٔ شرکت‌ها تو سال 2027 پیاده کنه.

نکات کلیدی:

• این کنترل از پیش‌نویس گروه AIPREF تو IETF میاد و با یه policy token تو robots.txt کار می‌کنه.
• گوگل ممنوعیت با این توکن رو معادل disallow کردن Google-Extended حساب می‌کنه، مگه اینکه Google-Extended جداگانه مشخص شده باشه.
• Google-Extended از سال 2023 وجود داره و همچنان کار می‌کنه.
• مجاز کردن Google-Extended لازمهٔ دیده شدن تو جواب‌های Gemini Apps از طریق grounding هست.
• پشتیبانی گوگل و بقیهٔ شرکت‌ها برای سال 2027 برنامه‌ریزی شده.