Con el archivo robots.txt podemos controlar que páginas de nuestra web pueden ser o no indexadas por los moteres de búsqueda. El archivo robots.txt lo incluiremos en el directorio raiz de nuestro dominio.
En el archivo robots.txt establecemos restricciones a los robots de los buscadores (conocidos como “bots”) que rastrean la web. Estos robots están automatizados, y antes de que las páginas de acceso de un sitio, compruebe si existe un archivo robots.txt que les impida el acceso a ciertas páginas.
El archivo robots.txt es necesario en nuestro blog de WordPress debido al contenido que no es necesario que sea indexado por los robots, como por ejemplo la capeta de administración del blog. Otra razón para la creación de robots.txt es para evitar que el motor de búsqueda de alcanzar otros contenidos casi idénticos, ya sabes, todas las web generadas por category.php, archive.php, tags.php…. y a Google no le gusta la duplicación de contenidos, y un archivo robots.txt optimizado aumentará la eficacia SEO de nuestro wordpress.
Un ejemplo de un fichero robots.txt puede ser el siguiente:
User-agent: Googlebot
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /index.php
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/User-agent: Googlebot-Image
Disallow: /wp-includes/
Allow: /wp-content/uploads/User-agent: Mediapartners-Google*
Disallow:User-agent: ia_archiver
Disallow: /User-agent: duggmirror
Disallow: /
No se trata de un ejemplo único, podemos modificar a nuestras necesidades
