News
L'injection de prompt dans les fichiers robots.txt est très rare selon une étude de Signals Corps portant sur Common Crawl.
Sur 3 881 598 fichiers réels, un seul contenait une tentative, et c'était le test d'un cabinet de sécurité.
375 582 sites, soit 9,7 %, ont un robots.txt avec du texte adressé à l'IA.
61 682 boutiques Shopify demandent aux agents de faire installer la skill Shop à leur utilisateur.
Le serveur MCP fetch de référence, quand il refuse une page, transmet au modèle tout le fichier robots.txt.