Le robot de Déniche

Il s'annonce ainsi :

Ce qu'il fait

• Il lit quelques pages publiques d'un site (l'accueil, puis au plus trois pages d'actualités, de présentation ou de contact), quand un utilisateur de Déniche s'intéresse à l'organisation.
• Il respecte robots.txt, y compris Crawl-delay, et attend au moins cinq secondes entre deux pages d'un même site.
• Il ne relit pas une page lue depuis moins de sept jours, et ne remplit aucun formulaire.

L'en empêcher

Ajoutez ces lignes à votre robots.txt : il ne lira plus votre site.

User-agent: DenicheBot
Disallow: /

Pour ne plus être proposé du tout aux utilisateurs de Déniche, quelle que soit la source : Exclure mon organisation