Budget de crawl : 3 étapes pour l’optimiser

Avez-vous déjà entendu parler du « budget de crawl ? Il s’agit du temps consacré par les moteurs de recherche (surtout Google) pour chaque plateforme. Il est très limité et dépend de la popularité du site. La solution pour ne pas le gaspiller consiste donc à orienter les robots vers les meilleures pages. En lisant attentivement les lignes qui suivent, vous allez découvrir les 3 étapes à suivre pour atteindre cet objectif.

Étape #1 : Déterminer les pages qui font perdre du temps

La première chose à faire pour optimiser le « budget de crawl » est d’identifier les pages gaspillant le temps des robots. Pour ce faire, il faut s’équiper de bons outils, à l’instar de la fameuse Search Console de Google. Cette dernière fournit des données complètes concernant l’indexation d’un site. Dans la pratique, il faut cliquer sur l’onglet « couverture » pour en savoir davantage sur les pages crawlées, mais non indexées. L’outil propose les raisons pour lesquelles les pages ont été exclues par les robots : présence de balise « noindex », inexistence de balise canonicale… Ces informations vous permettront déjà d’avoir une idée des pages consommatrices du « budget de crawl ». Cependant, pour avoir plus de détail, il est judicieux d’effectuer l’analyse des logs. Celle-ci permet de connaître le pourcentage des pages stratégiques crawlées par le moteur de recherche.

Étape #2 : Conduire les robots vers les meilleures pages

Une fois la page non intéressante identifiée, il est temps de diriger les robots vers les meilleures. Pour ce faire, il faut veiller à ce que les moteurs de recherche accèdent rapidement à la partie du site pertinente (généralement en 3 clics). Dans la pratique, votre page d’accueil doit contenir un lien redirigeant vers les « pages catégories ». Ces dernières, à leurs tours, renvoient vers une « page produit ». En parlant d’optimisation de maillage internet, sachez que les robots de la firme californienne ont tendance à visiter plus souvent les pages recevant plus de lien. C’est pourquoi vous devez pointer plusieurs URL vers la partie du site susceptible d’intéresser les moteurs de recherche.

Étape #3 : Écarter les robots des pages exclues

La troisième et dernière étape consiste à tenir les robots à l’écart des pages qui présentent moins d’importance pour le référencement. Certes la balise « noindex » permet de ne pas indexer une page, mais elle n’empêche pas le crawl de cette dernière. Il est alors indispensable de mettre à jour le fichier « robots.txt ». Pour s’assurer d’obtenir le résultat escompté, certains référenceurs décident d’intégrer les pages concernées sur un événement JavaScript. De cette manière, les robots ne pourront pas les analyser.

Bref, vous connaissez maintenant les 3 étapes indispensables pour ne pas gaspiller le fameux « budget de crawl ». Bien sûr, vous pouvez les appliquer vous-même si vous avez des notions en SEO. Dans le cas contraire, mieux vaut recourir aux services d’un expert en référencement. En plus de réaliser convenablement la tâche, celui-ci n’hésitera pas à vous offrir des conseils vous permettant d’optimiser le positionnement de votre site sur le moteur de recherche qu’est Google.