Ne négligez pas votre fichier robots.txt
Le fichier robots.txt est utilisé pour autoriser ou bloquer l’accès à votre site par les robots des moteurs de recherche. N’étant pas forcément installé par défaut sur un serveur, le fichier n’est pas non plus généré par Wordpress lors de l’installation du CMS.
Je me permets de vous avertir sur l’importance de ce fichier dans le sens ou il peut, s’il est mal configuré, empêcher purement et simplement le référencement de tout votre site. En vous rendant sur l’admin Wordpress, vous pouvez le créer à partir de Réglages > Vie privée et en sélectionnant :
Je souhaite bloquer les moteurs de recherche, mais autoriser les visiteurs normaux
En revanche, il semblerait qu’un bug empêche la modification du fichier pour revenir à l’état initial, à savoir le fait de rendre le blog visible à tous, y compris les moteurs de recherche. J’en ai fait les frais sur mon blog et je ne souhaite pas que cela vous arrive. Prenez garde donc si vous avez sélectionné puis désélectionné cette option. Editez le fichier robots.txt à la main, c’est plus sûr.
Pour info, si vous souhaitez autoriser l’indexation de votre site par les robots, voici la syntaxe à intégrer :
User-Agent: *
Allow: /
Cependant, si pour une raison ou une autre, vous souhaitez interdire l’indexation de votre site à certains robots, voici la marche à suivre :
User-Agent : Googlebot
Disallow : /
Ici par exemple, on choisit d’interdire au robot Google de parcourir l’ensemble de votre site web. Enfin, si vous ne rencontrez pas de problème d’indexation, vérifiez tout de même que vous avez un fichier robots.txt avec la syntaxe par défaut autorisant l’indexation de votre site, c’est plus propre. Le fichier doit bien se nommer “robots.txt”, tout en minuscules et doit être placé à la racine de votre site.
(3 votes, moyenne: 3,67 sur un total de 5)
Loading ...
Je pensais que Wordpress générait le robots.txt à “la volée” via son routeur interne, et non qu’il le créait physiquement (d’ailleurs, il faudrait donner les droits d’écriture sur le wwwroot ce qui serait relativement dangereux).
Du coup, ce serait un bug dans le moteur de Wordpress ? Sur quel(s) version(s) ?
J’ai rencontré ce bug sur la dernière version de Wordpress, à savoir la 2.6.2…
Merci du conseil
Pour ceux qui sont intéressé, voici le contenu de notre robots.txt :
User-agent: *
Disallow: /cgi-bin/
Disallow: /memo/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /feed/
Disallow: /trackback/
Disallow: /comments/
Disallow: /category/*/*
Disallow: */trackback/
Disallow: */comments/
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads/
User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
# digg mirror
User-agent: duggmirror
Disallow: /
# BEGIN XML-SITEMAP-PLUGIN
Sitemap: http://www.infoslibres.fr/sitemap.xml.gz
# END XML-SITEMAP-PLUGIN
Et on le trouve où le robot.txt
car jai fait tout mon blog par le ftp et je trouve rien…
Normal, c’est à toi de le créer dans ce cas
> beni : le fichier robots.txt doit se trouver dans le répertoire racine de ton site. Si ce n’est pas le cas, alors dans ce cas tu dois le créer, comme l’a dit Benoît.
Pourquoi ce site Web n’ont pas l’autre appui de langues ?