Cloudflare bloqueará de manera predeterminada a los rastreadores de inteligencia artificial.

Cloudflare, conocido proveedor de arquitectura de internet, implementará un bloqueo por defecto a los crawlers web de inteligencia artificial (IA), con el objetivo de evitar que accedan a contenido sin el consentimiento o compensación apropiada. Esta medida fue anunciada el martes y busca permitir a los nuevos propietarios de dominios decidir si desean permitir el acceso de los scrapers de IA a su contenido.

Como parte de este cambio, Cloudflare introducirá un programa denominado "Pay Per Crawl", que permitirá a los editores fijar un precio para que los scrapers de IA accedan a su contenido. Las empresas de IA podrán consultar los precios establecidos y elegir si registrarse para el programa o rechazarlo. En esta fase inicial, el programa estará disponible solo para un selecto grupo de los principales editores y creadores de contenido, aunque la compañía asegura que permitirá un uso adecuado del contenido de calidad, siempre con autorización y compensación.

Cloudflare ha estado apoyando a los propietarios de dominios en su lucha contra los crawlers de IA desde hace un tiempo. Este año, la empresa comenzó a permitir que los sitios web bloquearan a estos bots, aunque inicialmente solo se aplicaba a aquellos que respetaban el archivo robots.txt de un sitio, el cual no es vinculante. En el año anterior, Cloudflare habilitó el bloqueo de "todos" los bots de IA, sin importar si cumplían con las directrices mencionadas, y ahora esta opción se activará de manera automática para los nuevos clientes de Cloudflare. La identificación de los scrapers a ser bloqueados se realiza comparando con una lista de bots de IA conocidos.

Además, en marzo se lanzó una herramienta que dirige a los bots de web crawling a un “Labertinto de IA” como una medida disuasoria para evitar que recopilen información sin autorización. Importantes editores y plataformas en línea, como The Associated Press, The Atlantic, Fortune, Stack Overflow y Quora, han respaldado las nuevas restricciones de Cloudflare sobre los crawlers de IA, en un momento en que muchos usuarios acceden a la información a través de chatbots de IA en lugar de motores de búsqueda.

El CEO de Cloudflare, Matthew Prince, mencionó en un evento que la confianza creciente de la gente en la IA ha llevado a que se lea menos contenido original. Para abordar esta situación, Cloudflare está colaborando con empresas de IA para verificar sus crawlers y permitir que estas indiquen claramente su propósito, ya sea para entrenamiento, inferencia o búsqueda. Así, los propietarios de sitios web podrán revisar esta información y decidir cuáles crawlers permitir.

Prince destacó la importancia de proteger el contenido original, que considera uno de los grandes logros de la invención del siglo pasado, y afirmó que el objetivo de Cloudflare es devolver el poder a los creadores, al tiempo que se fomenta la innovación en el ámbito de la IA.