La base du SEO : le crawl de son site

Vous avez lancé votre site web il y a quelques mois vous avez l’impression que le trafic reste bas ? Avez-vous bien mis tout en oeuvre pour que votre site web soit bien référencé sur les moteurs de recherche et notamment Google ? Choisir les bons mots-clés c’est une très bonne première étape, mais ajouter à ceux-ci une stratégie SEO autour du crawl assurera une meilleure visibilité pour votre site web.

La définition du crawl

Tout d’abord, vous devez savoir que votre site n’est pas seulement visité par des internautes en quête d’information ou d’un produit, mais également par des robots créés par Google qui viennent visiter votre site et ses différentes pages pour les analyser afin de les indexer dans le cas où le contenu est de qualité (notamment par les mots-clés choisis, utilisés et répartis, mais également par l’organisation de la page et les liens utilisés).

Attention, le temps des robots est précieux, ils ne pourront pas analyser votre site dans son ensemble et consulter toutes ses pages (notamment si votre site est un blog par exemple alors les 2000 pages ne pourront être vues par le robot en une seule visite). On appelle ce temps de visite : le budget crawl.

L’écart entre le nombre de pages visitées et le nombre total des pages de votre site s’appelle un taux de crawl. Plus celui-ci est élevé mieux c’est :
• 70% comme taux de crawl est un bon pourcentage
• 30% n’est pas un taux de crawl suffisant
Si votre taux de crawl est encore bas, car vous venez de créer votre site, ne paniquez pas, car cela veut simplement dire que les robots ont visite qu’une seule fois votre site. Néanmoins, les robots y referont un tour dans les jours ou semaines à venir. Plus les robots viennent analyser les pages de votre site, plus votre taux augmente.

Avec quelques efforts, vous pouvez faciliter la visite de ces robots et mettre plus de chance de votre côté pour que le maximum de vos pages soit indexé.

Augmenter son taux de crawl facilement

Le crawl est à réellement prendre en compte lors de l’élaboration de votre stratégie SEO. Pour augmenter son taux, voici quelques astuces simples. Ainsi, votre site sera davantage visité donc vos pages potentiellement indexées par les robots des moteurs de recherche.

La création de contenu

La clé de réussite est assez simple : plus vous créez du contenu, plus vous améliorez votre place dans le classement des moteurs de recherches par mots clés. Par exemple, vous êtes propriétaire d’un site de vente de fleurs à domicile et vous ne voyez pas comment l’enrichir, vous pouvez simplement créer un blog en relation avec votre métier avec par exemple des conseils, les tendances du moment ou encore des tutoriels. Ce blog vous permettra d’attirer de nouveaux visiteurs alors le trafic augmentera et l’intérêt des robots avec ! Vous serez gagnant quoiqu’il arrive.

Faire gagner du temps aux robots

Pour aider le robot à mieux analyser votre site, il faut lui faire gagner du temps. Pour cela, il suffit de limiter au maximum le temps de chargement de chacune de vos pages ainsi le robot ne perdra pas de son budget de crawl en attendant que votre page s’affiche. Indice important : chacune de vos pages doit être chargée en un temps record (moins de trois secondes) sinon le robot classera votre site dans la catégorie « incompétent ». Pour vérifier si le temps de chargement de vos pages n’est pas trop lent, vous pouvez vous aider d’outils comme :
• Page Speed Insight développé par Google
• Dareboost disponible en français
• Pingdom

Une fois que le temps de chargement sera analysé, vous pourrez facilement trouver des solutions pour l’améliorer.

Diriger le robot

Si le budget crawl des robots n’est pas suffisant, vous devriez aussi regarder du côté de la structure de votre site comme son arborescence et son maillage. Vous pouvez alors bien diriger le robot vers les pages importantes de vos sites et laissez de côté celles qui n’auront aucun intérêt à être indexées.

Vos pages intéressantes doivent être accessibles

Sur votre site web, certaines pages auront un intérêt certain pour le robot et d’autres beaucoup moins. Pour éviter ce type de problème, vos pages – même les plus « profondes » – doivent être facilement accessibles. Généralement, pour y accéder il faut compter trois clics au maximum. Pour cela, vous devez créer des liens internes vers des pages à la thématique commune. De plus, vous pouvez ajouter à votre page principale (homepage) des liens vers d’autres pages par catégorie. Par exemple, si vous avez une site de vente en ligne de téléphonie, vous créez des liens allant vers des produits similaires comme la marque Apple. Ces liens internes doivent être dirigés vers les pages les plus importantes de votre site.

Prévenir les robots des mises à jour

Si vous mettez à jour une page ou si modifiez un contenu existant, vous pouvez avertir les robots des moteurs de recherche afin qu’ils viennent faire un tour sur votre site. Le fichier XML Sitemap sera votre allié, il vous permettra d’inscrire les URLs importantes de votre site ainsi le robot pourra de nouveau les étudier afin de les indexer si ce n’est pas déjà fait.

Empêcher le robot de visiter certaines pages

En parallèle de la possibilité de pointer les pages importantes de votre site, vous pouvez empêcher le robot d’en visiter certaines comme votre page de contact par exemple. Pour cela, les bots ont mis à disposition le fichier robot.txt sur lequel vous ajoutez les URLs de vos pages longues à charger ou inutiles.

Maintenant vous connaissez tout pour améliorer votre taux de crawl et le référencement de votre site !

Photos : leptidigital.fr, definitions-seo.com