Robot d’exploration

Le robot d’exploration et le vérificateur de liens de seonumi

Si vous avez trouvé seonumi-audit ou seonumi-links (ou leurs anciens noms GoBestSEO-Audit et GoBestSEO-Links) dans les journaux de votre serveur ou dans votre pare-feu, voici qui vous a rendu visite, et pourquoi.

En bref

  • seonumi-audit lit les pages publiques d’un site uniquement après que son propriétaire l’a inscrit chez nous.
  • seonumi-links lit des pages publiques individuelles qui pourraient contenir un lien vers un site inscrit.
  • Aucun des deux ne se connecte à un compte ni ne soumet de formulaires.

Par seonumiMis à jour le

Ce que c’est

seonumi-audit est le robot d’exploration de seonumi. Il lit les pages publiques d’un site Web afin que le propriétaire du site obtienne un audit SEO. Il visite un site uniquement après que son propriétaire l’a inscrit chez nous et a connecté la propriété Google Search Console du site, et uniquement pour les audits de ce propriétaire.

Le robot d’exploration se contente de lire. Les modifications qu’un propriétaire a acceptées, comme un meilleur titre de page, sont apportées séparément, au moyen de la connexion WordPress que ce propriétaire a configurée, jamais par le robot d’exploration.

Le vérificateur de liens est un robot d’exploration distinct, avec une autre tâche, décrite dans la dernière section de cette page.

Comment le reconnaître

Chaque requête comporte un User-Agent qui commence par le jeton de produit seonumi-audit/1.0, suivi entre parenthèses d’un signe plus et de l’adresse de cette page, et qui se termine par GoBestSEO-Audit/1.0, le jeton de produit de l’ancien nom du robot d’exploration. Pour l’autoriser, filtrez sur le nom seonumi-audit. Une règle que vous avez écrite pour l’ancien nom GoBestSEO-Audit continue de fonctionner, car chaque requête comporte toujours ce nom aussi.

Les requêtes proviennent de Google Cloud sans adresse IP fixe; filtrez donc sur le User-Agent, et non sur une plage d’adresses IP.

Ce qu’il lit, et à quelle fréquence

  • Les pages publiques du site inscrit, à partir de la page d’accueil et du plan du site, jusqu’à la limite de pages du forfait du propriétaire (50 pages au maximum).
  • Une vérification de l’état des autres adresses répertoriées dans le plan du site, sans lire leur contenu.
  • Votre fichier robots.txt et votre plan du site, pour trouver des pages et pour signaler ce qu’ils indiquent aux moteurs de recherche.
  • Il ne se connecte à aucun compte et ne soumet pas de formulaires; il ne peut donc rien voir de ce qui se trouve derrière une connexion.
  • Il analyse un site chaque jour ou tous les deux jours, selon le forfait du propriétaire, normalement la nuit, heure d’Israël.

Si votre pare-feu ou votre extension de sécurité le bloque

Si vous êtes propriétaire du site et utilisez seonumi, autorisez les requêtes dont le User-Agent contient seonumi-audit dans votre pare-feu, votre CDN ou votre extension de sécurité WordPress (une règle que vous avez déjà pour GoBestSEO-Audit continue de fonctionner). Sinon, l’application vous indiquera que votre site bloque notre robot d’exploration, et vos constats seront incomplets.

S’il visite un site qui vous appartient mais que vous n’avez jamais inscrit chez nous, ou s’il cause un problème, signalez la visite à notre équipe en indiquant l’adresse visitée et l’heure.

Le vérificateur de liens

Pour montrer aux clients des forfaits SEO BASIC et SEO PRO quels sites pointent vers eux (surveillance des backlinks), seonumi lit aussi des pages publiques individuelles d’autres sites Web qui pourraient contenir un lien vers un site inscrit et, pour les clients qui font de la prospection pour obtenir des liens, pour suggérer des pages qui pointent vers leurs concurrents comme sites qu’ils peuvent contacter, et pour vérifier chaque jour, pendant au plus deux mois, si un lien est apparu après que le client a contacté un site. Il s’agit de seonumi-links, le vérificateur de liens : un robot d’exploration distinct de seonumi-audit, avec son propre User-Agent et son propre jeton robots.txt.

Les pages qui pointent vers les concurrents d’un client peuvent être suggérées à ce client comme sites à contacter. Nous ne recueillons jamais de coordonnées, et nous ne lisons jamais une page tierce uniquement pour l’évaluer ou pour y trouver des coordonnées. Pour demander que votre site ne soit jamais suggéré aux clients de seonumi, communiquez avec nous en indiquant l’adresse; nous donnons suite dans un délai de 7 jours.

  • Chaque requête comporte un User-Agent qui commence par le jeton de produit seonumi-links/1.0, suivi entre parenthèses d’un signe plus et de l’adresse de cette page, et qui se termine par GoBestSEO-Links/1.0, le jeton de produit de son ancien nom. Pour le reconnaître, filtrez sur le nom seonumi-links.
  • Son jeton robots.txt est seonumi-links. Il suit les règles définies pour ce jeton ou, en l’absence de telles règles, celles qui s’appliquent à tous les robots d’exploration, y compris Crawl-delay.
  • Il s’appelait auparavant GoBestSEO-Links et, avant cela, SEOOptimizerBacklinkBot. Les règles Disallow que vous avez écrites pour les anciens jetons gobestseo-links et seooptimizerbacklinkbot s’appliquent toujours; un site qui a bloqué un ancien nom reste donc bloqué.
  • Il lit une seule page à la fois sur chaque site et attend entre les requêtes envoyées au même site.
  • Il ne se connecte jamais à un compte et ne soumet jamais de formulaires, et il ne conserve que les liens qu’il trouve vers les sites suivis, pas le contenu de vos pages.
  • Pour le tenir à l’écart de votre site, ajoutez une règle Disallow pour seonumi-links dans robots.txt.

Prochaine étape

Vous voulez la même chose pour votre propre site?

Le même robot d’exploration analyse votre site WordPress, et c’est vous qui décidez des modifications.