Tutorial Monsters - Diseño Web, Photoshop, Wordpress, CSS, Lightroom
  • Html5
  • CSS3
  • PHP
  • Photoshop
  • WordPress
  • SEO
  • eCommerce
  • Marketing
  • Store
Sin Resultado
Ver Todos los Resultados
Tutorial Monsters - Diseño Web, Photoshop, Wordpress, CSS, Lightroom
  • Html5
  • CSS3
  • PHP
  • Photoshop
  • WordPress
  • SEO
  • eCommerce
  • Marketing
  • Store
Sin Resultado
Ver Todos los Resultados
Tutorial Monsters - Diseño Web, Photoshop, Wordpress, CSS, Lightroom
Sin Resultado
Ver Todos los Resultados
Home Wordpress

Robots.txt perfecto para WordPress

27 enero, 2012
en Wordpress
0
Robots.txt perfecto para WordPress
Share on FacebookShare on Twitter

Ya sabemos de la importancia del fichero robots.txt, (hace tiempo que ya hablamos de esto, ver) es muy útil para decir a los rastreadores que queremos (y que no queremos) que indexen de nuestra web. Desde SigT.net nos dan una gran ayuda, aunque mas que una ayuda nos dicen que deberíamos poner en nuestro fichero robots.txt. Han elaborado un fichero robots.txt para mejorar la visibilidad de nuestro blog y evitar contenido duplicado en los buscadores muy penalizado por los buscadores.

Como ya comentamos en su día, este fichero no es único y lo normal sería adaptarlo a las necesidades de cada uno

Aquí dejo el fichero:


# Primero el contenido adjunto.
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /wp-admin/
# También podemos desindexar todo lo que empiece
# por wp-. Es lo mismo que los Disallow de arriba pero
# incluye cosas como wp-rss.php
Disallow: /wp-
#
# Sitemap permitido.
Sitemap: http://tutorialmonsters.com/sitemap.xml
#
# Búsquedas no permitidas
Disallow: /?s=
Disallow: /search
#
# Permitimos el feed general para Google Blogsearch.
#
# Impedimos que permalink/feed/ sea indexado ya que el
# feed con los comentarios suele posicionarse en lugar de
# la entrada y desorienta a los usuarios.
#
# Lo mismo con URLs terminadas en /trackback/ que sólo
# sirven como Trackback URI (y son contenido duplicado).
#
Allow: /feed/$
Disallow: /feed
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
#
# A partir de aquí es opcional pero recomendado.
#
# Lista de bots que suelen respetar el robots.txt pero rara
# vez hacen un buen uso del sitio y abusan bastante…
# Añadir al gusto del consumidor…
User-agent: MSIECrawler
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: libwww
Disallow: /
#
# Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen
# idas de pinza, toca decirles que reduzcan la marcha.
# El valor es en segundos y podéis dejarlo bajo e ir
# subiendo hasta el punto óptimo.
#
User-agent: noxtrumbot
Crawl-delay: 50
User-agent: msnbot
Crawl-delay: 30
User-agent: Slurp
Crawl-delay: 10

Etiquetas: robots.txtwordpress
ANUNCIO
Post anterior

Creación de un pincel personalizado en photoshop

Próximo Post

Tutorial crear efecto metálico en un botón

Otros Posts

6 plugins imprescindibles para tu web en WordPress

6 plugins imprescindibles para tu web en WordPress

22 junio, 2021
0

Crear una página web profesional en WordPress como lo haría una agencia online tipo Prismalia no es sencillo, pero gran parte del secreto de estas agencias, es la de contar con un un adecuado póker...

Ecwid: la mejor alternativa a Woocommerce en WordPress

Ecwid: la mejor alternativa a Woocommerce en WordPress

22 mayo, 2021
0

Todos sabemos que WooCommerce es el plugin mas utilizado en WordPress para montar una tienda online, incluso en la mayoría de los temas esta instalado de forma predeterminada. Si no te sale de lo habitual...

Recomendados

Tutorial crear efecto metálico en un botón

Cómo crear un motivo en Photoshop

8 mayo, 2013
Manual diseño web: Planificación y configuración de un sitio web

Manual diseño web: Planificación y configuración de un sitio web

19 febrero, 2016
¿Google es un buscador o una empresa de publicidad?

¿Google es un buscador o una empresa de publicidad?

25 enero, 2020
Consejos para optimizar localmente tu web en los buscadores

Búsqueda avanzada en Google aplicada al SEO

25 septiembre, 2014

Tutotial Monsters

Somos un equipo creativo apasionado por brindar los mejores recursos gratuitos y premium a la comunidad de diseño.
PADAWAN

  • Home
  • Política de privacidad
  • Política de Cookies
  • Aviso Legal
  • Contactar

© 2020 Tutorial Monsters - Estamos para Colaborar SEOConsultora.

Sin Resultado
Ver Todos los Resultados
  • Html5
  • CSS3
  • PHP
  • Photoshop
  • WordPress
  • SEO
  • eCommerce
  • Marketing
  • Store
Este sitio web utiliza cookies. Al continuar utilizando este sitio web, usted da su consentimiento para que se utilicen cookies. Visite nuestra Política de privacidad y cookies .