Ya sabemos de la importancia del fichero robots.txt, (hace tiempo que ya hablamos de esto, ver) es muy útil para decir a los rastreadores que queremos (y que no queremos) que indexen de nuestra web. Desde SigT.net nos dan una gran ayuda, aunque mas que una ayuda nos dicen que deberíamos poner en nuestro fichero robots.txt. Han elaborado un fichero robots.txt para mejorar la visibilidad de nuestro blog y evitar contenido duplicado en los buscadores muy penalizado por los buscadores.
Como ya comentamos en su día, este fichero no es único y lo normal sería adaptarlo a las necesidades de cada uno
Aquí dejo el fichero:
# Primero el contenido adjunto. User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-content/themes/ Disallow: /wp-includes/ Disallow: /wp-admin/ # También podemos desindexar todo lo que empiece # por wp-. Es lo mismo que los Disallow de arriba pero # incluye cosas como wp-rss.php Disallow: /wp- # # Sitemap permitido. Sitemap: http://tutorialmonsters.com/sitemap.xml # # Búsquedas no permitidas Disallow: /?s= Disallow: /search # # Permitimos el feed general para Google Blogsearch. # # Impedimos que permalink/feed/ sea indexado ya que el # feed con los comentarios suele posicionarse en lugar de # la entrada y desorienta a los usuarios. # # Lo mismo con URLs terminadas en /trackback/ que sólo # sirven como Trackback URI (y son contenido duplicado). # Allow: /feed/$ Disallow: /feed Disallow: /comments/feed Disallow: /*/feed/$ Disallow: /*/feed/rss/$ Disallow: /*/trackback/$ Disallow: /*/*/feed/$ Disallow: /*/*/feed/rss/$ Disallow: /*/*/trackback/$ Disallow: /*/*/*/feed/$ Disallow: /*/*/*/feed/rss/$ Disallow: /*/*/*/trackback/$ # # A partir de aquí es opcional pero recomendado. # # Lista de bots que suelen respetar el robots.txt pero rara # vez hacen un buen uso del sitio y abusan bastante… # Añadir al gusto del consumidor… User-agent: MSIECrawler Disallow: / User-agent: WebCopier Disallow: / User-agent: HTTrack Disallow: / User-agent: Microsoft.URL.Control Disallow: / User-agent: libwww Disallow: / # # Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen # idas de pinza, toca decirles que reduzcan la marcha. # El valor es en segundos y podéis dejarlo bajo e ir # subiendo hasta el punto óptimo. # User-agent: noxtrumbot Crawl-delay: 50 User-agent: msnbot Crawl-delay: 30 User-agent: Slurp Crawl-delay: 10
