Robots et moteurs de recherche
Les moteurs de recherche envoient des robots lire votre site. Le fichier robots.txt leur indique ce qu'ils peuvent explorer. Sur votre site publié, le fichier de base les laisse explorer toutes les pages publiques et leur donne l'adresse de votre sitemap. Votre aperçu est toujours fermé aux robots : cette protection est automatique et ne peut pas être modifiée.
Créer le fichier de base
- Ouvrez Site web dans le menu, puis l'onglet Robots.
- Sous Environnement, choisissez Version en ligne.
- Quand Aucune règle personnalisée s'affiche, cliquez sur Générer le fichier de base.
- Vérifiez l'adresse du Fichier du site, puis cliquez sur Générer le fichier.
Le fichier de base contient User-agent: *, Allow: / et l'adresse de votre sitemap principal. Cliquez sur Ouvrir robots.txt pour le lire.
Ajouter une règle pour un robot
- Sur l'onglet Robots, avec Version en ligne choisie, cliquez sur Ajouter une règle.
- Dans Bot, écrivez le nom d'un robot, comme
Googlebot, ou*pour tous les robots qui respectent les règles. - Sous Règle, choisissez Autoriser ou Interdire.
- Dans Chemin, écrivez la partie de votre site concernée, en commençant par
/, par exemple/brouillons/. - Cliquez sur Enregistrer.
Pour changer ou supprimer une règle, utilisez Modifier la règle ou Supprimer la règle sur sa ligne.
Note — Si l'onglet indique Ce site est sur un hébergement d’essai, où les moteurs de recherche restent toujours bloqués., votre site est sur un hébergement d'essai : les moteurs de recherche n'y explorent aucune page, quelles que soient vos règles. Vos règles restent enregistrées, mais elles ne changent pas le fichier robots.txt de cet hébergement.
Important — Les règles des robots guident ceux qui les respectent ; elles ne protègent rien. Ne comptez jamais sur elles pour cacher une page confidentielle.