De nombreux exploitants de sites Web sont déstabilisés. Apparemment, vous devez absolument avoir un fichier appelé robots.txt. Qu'est-ce que c'est?
Windows + Linux / Anglais / Open Source. Si vous avez une page d'accueil, vous voulez généralement être trouvé. Il y a une grande frustration lorsque votre propre page n'apparaît pas sur Google. Cela peut très bien être dû au fichier robots.txt. Mais seulement s'il est là. Ce fichier ne peut faire qu'une chose : interdire.
Dans le fichier robots.txt, vous pouvez interdire aux programmes automatiques qui naviguent sur Internet 24 heures sur 24 d'accéder à vos pages. Vous pouvez prononcer l'interdiction à tous les niveaux pour tous ces robots ou pour certains. Vous pouvez bloquer complètement vos pages ou seulement certaines zones.
Si le fichier n'existe pas, il n'y a donc pas d'interdictions. Vos pages sont ouvertes à tous les moteurs de recherche. Si vous n'apparaissez toujours pas sur Google, une toute autre question se pose : avez-vous déjà enregistré vos pages ? La meilleure chose à faire est de le faire tout de suite. Entrez simplement l'adresse ici :
https://www.google.com/webmasters/tools/submit-url
Pour ce faire, vous devez vous connecter à votre compte Google.
Pour qu'un fichier robots.txt manquant soit un problème, le serveur doit également être configuré de manière incorrecte. Ensuite, un robot pourrait essayer d'accéder au fichier et rencontrer des messages d'erreur inhabituels, provoquant l'abandon du processus. Mais ce cas est très improbable.
Si vous souhaitez créer un fichier robots.txt, enregistrez-le dans le dossier principal de votre serveur Web. Si vous voulez permettre à tout le monde de tout faire, écrivez ce qui suit :
Agent utilisateur: *
Refuser:
La ligne "User-Agent" indique à qui s'applique l'interdiction. * signifie : pour tout le monde. La ligne "Disallow" exprime l'interdiction. S'il n'y a plus rien, cela signifie que tous les accès sont autorisés.
Plus sur le sujet :Rideau en l'air, voici votre site Web : comment créer un site Web avec peu d'effort
