Cloudflare bloque les crawlers IA sur les pages publicitaires
Cloudflare annonce que les crawlers IA seront bloqués par défaut sur les pages publicitaires à partir du 15 septembre. Les contrôles, en place depuis le 1er juillet, classent les bots en trois catégories : Search, Agent et Training. Les utilisateurs peuvent désactiver ces blocages via leurs paramètres de sécurité.
« Cloudflare’s logic is that an advertisement is evidence that a page was built for a human to land on. » — AI News
Que faut-il retenir ?
- Cloudflare bloque les crawlers IA sur les pages publicitaires à partir du 15 septembre.
- Les bots sont classés en trois catégories : Search, Agent et Training.
- Les utilisateurs peuvent désactiver les blocages via leurs paramètres de sécurité.
- Googlebot est affecté car il combine recherche et training.
Pourquoi cette nouvelle compte-t-elle ?
Ces changements impactent directement les entreprises utilisant des crawlers IA pour des tâches comme la recherche de prix ou le service client. Les pages publicitaires, souvent riches en informations, seront moins accessibles, ce qui pourrait réduire l'efficacité des agents IA. Les éditeurs doivent également évaluer l'impact sur leur visibilité dans les moteurs de recherche.
15 septembre 2023
💬 Matthew Prince, PDG de Cloudflare
Public concerné : entreprises
Comment Cloudflare classe-t-il les crawlers IA ?
Cloudflare classe les crawlers IA en trois catégories : Search pour l'indexation, Agent pour les systèmes automatisés en temps réel, et Training pour les crawlers qui alimentent les modèles d'IA.
🔧 Outils mentionnés