Robot d'indexation
DeepBriefBot
DeepBriefBot est le robot de DeepBrief, une application qui rédige chaque matin un brief financier personnel pour les investisseurs particuliers. Il s'identifie avec ce user agent :
DeepBriefBot/0.1 (+https://deepbriefapp.com/bot)Ce qu'il récupère
- Les flux RSS et Atom des éditeurs d'actualité.
- Votre robots.txt, lu avant toute page d'article et gardé en cache 24 heures. S'il est injoignable à cause d'une erreur serveur, le robot ne récupère rien sur votre site.
- Une page d'article seulement quand l'élément du flux n'a pas de description exploitable. Un court résumé est conservé ; le texte intégral ne l'est pas. Pas de navigateur, pas d'exécution de JavaScript.
- Des API de données publiques pour les indicateurs de marché.
Quand
Deux fois par jour, à 4 h et à 16 h, heure de Paris.
Pourquoi
Chaque chapitre d'un brief DeepBrief cite ses sources et renvoie vers l'article d'origine : le lecteur qui veut en savoir plus va chez l'éditeur.
Comment le bloquer
Ajoutez ces lignes à votre robots.txt. Le robot les respecte dès son passage suivant.
User-agent: DeepBriefBot
Disallow: /Une question ou une demande au sujet de votre site : support@deepbriefapp.com