Pour un technicien. Il faut accéder à la racine du site (FTP ou hébergement) et savoir lire des en-têtes HTTP. Comptez 2 à 3 heures la première fois.
Certains petits fichiers et certains codes dans le site disent à Google « viens voir cette page », « ne la garde pas » ou « elle a déménagé ».
Pourquoi c’est important
Une erreur ici est silencieuse et coûteuse : un Disallow: / oublié après une refonte, un noindex laissé sur la préproduction, ou deux versions du site (http et https, www et sans www) qui se font concurrence. Le site peut sembler fonctionner pendant des mois sans être indexé.
Le vocabulaire
- robots.txt
- Fichier à la racine qui indique aux robots ce qu’ils peuvent explorer. Il contrôle l’exploration, pas l’indexation.
- sitemap.xml
- La liste des URL à indexer. 50 000 URL ou 50 Mo non compressés au maximum par fichier. Google utilise
lastmods’il est fiable et ignorepriorityetchangefreq. - noindex
- Directive (balise
meta robotsou en-têteX-Robots-Tag) qui demande de ne pas indexer. Elle doit rester explorable pour être vue. - 301 / 302
- 301 : déménagement permanent. 302 : temporaire. Pour un changement d’adresse, c’est 301.
- 404 / 410
- 404 : introuvable. 410 : supprimée définitivement, retirée un peu plus vite de l’index.
- soft 404
- Une page qui répond 200 mais dont le contenu dit « introuvable ». Google la traite comme une erreur.
- chaîne de redirections
- A vers B vers C. À réduire à une seule redirection.
Un exemple
# robots.txt User-agent: * Disallow: /admin/ Sitemap: https://www.exemple.fr/sitemap.xml # vérifier une redirection curl -I http://exemple.fr/ # attendu : HTTP/1.1 301 puis Location: https://www.exemple.fr/
Pas à pas
- Lire le
robots.txtOuvrir/robots.txt. S’assurer qu’aucunDisallow: /ne reste et que la ligneSitemap:est présente. - Contrôler le sitemapUniquement des URL canoniques, en 200, indexables, avec un
lastmodvrai. Le déclarer dansrobots.txtet dans la Search Console. - Tester les quatre varianteshttp et https, www et sans www : les quatre doivent aboutir en une seule redirection 301 vers la version retenue.
- Traiter les 404Page déplacée : 301 vers son équivalent. Page supprimée sans équivalent : 404 ou 410. Pas de redirection massive vers l’accueil.
- Vérifier le
noindexChercher toutnoindexoublié, y compris dans l’en-têteX-Robots-Tag, avec l’inspection d’URL de la Search Console.
- Bloquer une page dans
robots.txtet y mettre unnoindex: Google ne verra jamais le noindex - Croire que
Disallowdésindexe : une URL bloquée mais très liée peut rester dans l’index - Laisser des chaînes de redirections après une refonte
- Un sitemap qui liste des pages en 404 ou en
noindex
Nous vérifions ces points à la mise en ligne de votre site, puis nous le déclarons à Google et Bing.
Questions fréquentes
Un site neuf apparaît-il tout seul sur Google ?
Pas toujours, ni vite. Le déclarer dans la Search Console avec un sitemap, et le relier depuis la fiche Google et des pages déjà connues accélère la découverte.
Faut-il bloquer les pages de remerciement et de connexion ?
Mieux vaut un noindex explorable qu’un Disallow : la page reste ignorée sans risque d’apparaître sans extrait.
Mon ancien site a changé d’adresse : que faire ?
Une redirection 301 page à page de l’ancien vers le nouveau, un sitemap à jour, et la fonction « Changement d’adresse » de la Search Console si le domaine change.
Pour passer à l’action
Vous préférez que ce soit fait par quelqu’un qui connaît le sujet ?