Cloudflare ferme la porte aux robots d’IA sur 1/5 du web
Le service par lequel passe le trafic d’environ 1 site sur 5 bloque désormais par défaut les robots qui aspirent les contenus pour entraîner une IA, dès qu’une page affiche de la publicité.
La règle est entrée en vigueur hier. Cloudflare, l’intermédiaire qui filtre le trafic d’environ 1/5 du web, remplace son ancien interrupteur unique, celui qui autorisait ou refusait tous les robots d’IA en bloc, par 3 catégories. La recherche, quand un robot indexe une page pour la ressortir plus tard dans des résultats, reste autorisée partout. L’entraînement, quand un robot récupère un texte pour en nourrir un modèle, et l’agent, quand une IA vient chercher une information en direct pour le compte de quelqu’un, sont désormais refusés sur toute page qui affiche une publicité. L’argument tient en une phrase : une publicité signale que le propriétaire du site attendait un humain.
Le nouveau réglage s’applique aux domaines qui arrivent, aux sites créés à partir d’hier et à tous les comptes gratuits. Les clients payants gardent leurs propres réglages jusqu’à ce qu’ils y touchent. Une difficulté reste entière : les robots de Google, d’Apple et de Microsoft mélangent l’indexation et la collecte pour l’entraînement. Un robot à double usage hérite du traitement le plus strict, si bien que bloquer l’entraînement peut coûter de la visibilité dans les moteurs de recherche. Google conteste cette lecture.
Pour quiconque possède un site, la question n’est plus théorique. Le trafic automatisé a dépassé le trafic humain, et être lu par les IA est devenu la seule façon d’être cité dans leurs réponses. Cloudflare prépare d’ailleurs une facturation à l’usage, pour se faire payer non plus au moment où le contenu est récupéré, mais quand il ressort dans une réponse. Il vaut donc la peine d’aller regarder ses propres réglages, plutôt que de découvrir dans 3 mois qu’on a disparu sans l’avoir décidé.