A la UneIntelligence Artificielle
Cloudflare révolutionne la manière dont les robots d’indexation IA explorent l’Internet
| Cloudflare vient de modifier la manière dont les robots d’exploration IA sillonnent Internet afin d’extraire le contenu. L’approche basée sur l’autorisation ouvre la voie à un nouveau modèle économiqueCette solution permet à d’éminents éditeurs et acteurs de l’IA de mettre un terme à l’extraction et à l’utilisation non autorisées de contenu original | |
| Cloudflare, Inc. (NYSE : NET), l’entreprise leader dans le domaine du cloud de connectivité, annonce qu’elle est désormais le premier fournisseur d’infrastructure Internet à bloquer par défaut les robots d’exploration IA qui accèdent à des contenus sans autorisation ni rémunération. À compter d’aujourd’hui, les propriétaires de sites web peuvent choisir s’ils souhaitent que ces robots puissent accéder à leur contenu et décider de quelle manière les entreprises de développement d’IA peuvent l’utiliser. Ces dernières peuvent également indiquer clairement leurs objectifs (en précisant, par exemple, si leurs robots d’exploration sont utilisés à des fins d’entraînement, d’inférence ou de recherche) afin d’aider les propriétaires de sites à définir quels robots ils souhaitent autoriser. Ce nouveau paramètre par défaut de Cloudflare constitue la première étape vers un avenir plus durable, à la fois pour les créateurs de contenu et les innovateurs en matière d’IA. | |
| Depuis des décennies, Internet fonctionne sur un principe d’échange simple : les moteurs de recherche indexent les contenus et redirigent les utilisateurs vers les sites web d’origine, en générant ainsi du trafic et des revenus publicitaires pour les sites web de toutes les tailles. Ce cycle récompense financièrement les créateurs qui produisent du contenu de qualité et leur permet de développer un public, tout en aidant les utilisateurs à découvrir de nouvelles informations pertinentes. Ce modèle est désormais dépassé. Les robots d’exploration IA collectent le contenu (comme des textes, des articles et des images) afin de générer des réponses, mais sans rediriger les visiteurs vers la source initiale. Ce mode de fonctionnement prive les créateurs de revenus, mais également de la satisfaction liée au fait de savoir que quelqu’un consulte leur contenu. Or, si la motivation de créer du contenu original et de qualité disparaît, la société dans son ensemble finit par y perdre et l’avenir même d’Internet se retrouve compromis. | |
| « Si Internet compte survivre à l’ère de l’IA, nous devons donner aux éditeurs le contrôle qu’ils méritent et bâtir un nouveau modèle économique qui convienne à tous : aux créateurs, aux consommateurs, aux fondateurs de l’IA de demain et même à l’avenir du web lui-même. Le contenu original constitue l’essence même de ce qui fait d’Internet l’une des plus grandes inventions du siècle dernier et il est essentiel que les créateurs continuent à en produire. Les robots d’exploration IA extraient du contenu de manière totalement débridée. L’objectif que nous poursuivons consiste à redonner le pouvoir aux créateurs, tout en permettant aux entreprises d’IA de continuer à innover. L’idée ici est de préserver l’avenir d’un Internet libre et dynamique à l’aide d’un nouveau modèle qui fonctionne pour tout le monde. »–Matthew Prince,cofondateur et CEO de Cloudflare | |
| Appliquer un modèle basé sur l’autorisation à Internet | |
| Cloudflare exploite l’un des plus grands réseaux mondiaux afin d’aider à gérer et à protéger le trafic de 20 % du web. L’entreprise traite des milliers de milliards de requêtes chaque jour et dispose par conséquent de solutions de gestion des bots parmi les plus avancées du monde, capables de distinguer avec précision les utilisateurs humains des robots d’exploration IA. En septembre 2024, Cloudflare a lancé la possibilité de bloquer les robots d’exploration IA en un clic. Plus d’un million de clients ont depuis choisi cette option, conçu comme un moyen agressif (tout en restant simple) d’empêcher l’extraction pendant que les entreprises déterminent leur stratégie à l’égard de l’IA. Aujourd’hui, Cloudflare passe à l’étape suivante afin d’appliquer un modèle basé sur l’autorisation aux robots d’exploration IA. Les entreprises de l’IA devront désormais obtenir l’autorisation explicite d’un site web avant de procéder à l’extraction de son contenu. Lors de leur inscription sur le réseau Cloudflare, chaque nouveau domaine sera désormais invité à déterminer sa politique en matière d’autorisation des robots d’indexation. Les clients auront ainsi le choix d’autoriser ou de refuser explicitement l’accès à ces bots. Cette évolution radicale implique que chaque nouveau domaine sera lancé par défaut avec le contrôle de son contenu et élimine la nécessité pour les propriétaires de pages web de configurer manuellement leurs paramètres afin d’activer cette option. Les clients pourront facilement et à tout moment consulter leurs paramètres afin d’activer l’exploration s’ils souhaitent proposer leur contenu en accès libre. | |
| Les entreprises de développement d’IA peuvent désormais contrôler leurs robots d’exploration de manière plus fiable | |
| Cloudflare rend aujourd’hui l’écosystème autour du contenu plus transparent pour les entreprises de l’IA et les créateurs de contenu. L’entreprise a récemment proposé de nouveaux moyens pour les bots IA de s’authentifier et pour les sites web d’identifier ces derniers afin de permettre aux créateurs et aux propriétaires de sites web de disposer de nouveaux mécanismes d’identification et d’un contrôle sur les robots d’exploration qu’ils souhaitent autoriser. Cloudflare participe au développement d’un nouveau protocole conçu pour offrir un moyen public et standard de s’identifier aux propriétaires de bots et aux entreprises de développement d’agents IA. | |
| Pour en savoir plus, n’hésitez pas à consulter les ressources suivantes : ● Blog : Journée de l’indépendance du contenu : pas d’exploration de l’IA sans compensation !● Blog : Contrôlez l’utilisation du contenu à des fins d’entraînement de l’IA grâce au fichier robots.txt géré par Cloudflare et au blocage afin de monétiser votre contenu ● Blog : Les signatures de message font désormais partie de notre programme de vérification des bots et simplifient ainsi l’authentification des bots ● Blog : Présentation du paiement à l’exploration : permettre aux propriétaires de contenu de facturer l’accès aux robots d’exploration IA ● Blog : De Googlebot à GPTBot : qui explore votre site en 2025 ? ● Blog : L’indexation avant la chute… des renvois : comprendre l’incidence de l’IA sur les fournisseurs de contenu ● Inscrivez-vous à l’accès anticipé : bêta de la fonctionnalité de paiement à l’exploration Cloudflare ● Cloudflare Radar : Informations sur l’IA : le portail Cloudflare des tendances et des informations sur le trafic Internet | |
| À propos de CloudflareCloudflare, Inc. (NYSE : NET), le leader dans le domaine du cloud de connectivité, s’est donné pour mission de contribuer à bâtir un Internet meilleur. Nous fournissons aux entreprises tous les moyens nécessaires pour rendre leurs collaborateurs, leurs applications et leurs réseaux plus rapides et plus sûrs, partout dans le monde, tout en réduisant la complexité et les coûts. Le cloud de connectivité Cloudflare propose la plateforme unifiée la plus complète en matière de produits et d’outils de développement cloud-native, permettant à toutes les entreprises de bénéficier des mesures de contrôle dont elles ont besoin pour travailler, développer et dynamiser leur activité. Reposant sur l’un des réseaux les plus vastes et les plus interconnectés du monde, Cloudflare bloque chaque jour des milliards de menaces en ligne pour le compte de ses clients. Des millions d’entreprises et d’organisations nous font confiance, des plus grandes marques aux entrepreneurs individuels et aux PME, en passant par divers organismes à but non lucratif, groupes d’assistance humanitaire et administrations à travers le monde.Rendez-vous sur cloudflare.com/connectivity-cloud pour en apprendre davantage sur le cloud de connectivité Cloudflare et sur radar.cloudflare.com pour découvrir les nouvelles tendances et informations concernant Internet.Suivez-nous : Blog | X | LinkedIn | Facebook | Instagram |
