Appearance
robots.txt
Le fichier robots.txt est un fichier placé à la racine du dossier web. Il permet de donner des instructions aux moteurs de recherche qui visitent un site.
Dans sa configuration la plus simple, il permet d'autoriser ou d'interdire l'indexation d'un site par les moteurs de recherche.
Autoriser
txt
User-agent: *
Allow: /Interdire
txt
User-agent: *
Disallow: /