Tutorial Monsters - Diseño Web, Photoshop, Wordpress, CSS, Lightroom
  • Html5
  • CSS3
  • PHP
  • Photoshop
  • WordPress
  • SEO
  • eCommerce
  • Marketing
  • Store
Sin Resultado
Ver Todos los Resultados
Tutorial Monsters - Diseño Web, Photoshop, Wordpress, CSS, Lightroom
  • Html5
  • CSS3
  • PHP
  • Photoshop
  • WordPress
  • SEO
  • eCommerce
  • Marketing
  • Store
Sin Resultado
Ver Todos los Resultados
Tutorial Monsters - Diseño Web, Photoshop, Wordpress, CSS, Lightroom
Sin Resultado
Ver Todos los Resultados
Home Webmaster Posicionamiento Web SEO

Robots.txt

28 mayo, 2012
en Posicionamiento Web SEO
0
Robots.txt perfecto para WordPress
Share on FacebookShare on Twitter

Por lo general, en el mundo del SEO destinamos muchos esfuerzos a que nuestra página sea totalmente indexable por los motores de búsqueda, pero a veces tenemos ciertos contenidos dentro del site que por una u otra razón no queremos que sean indexados, para este fin se han creado los llamados robots txt.

Resumen del Contenido

  • ¿Qué es robots.txt?
  • Ubicación
  • Estructura de un fichero robots.txt
  • Ejemplos de ficheros robots.txt
  • Chequear fichero robots.txt

¿Qué es robots.txt?

Los archivos tipo robots txt son muy útiles para dar instrucciones a las arañas de los buscadores sobre la indexación de nuestro site, si hay una parte de la web con información confidencial por ejemplo, solo tenemos que poner un robots.txt a esa parte y no aparecerá en los motores de búsqueda. Además los robots.txt son muy útiles cuando hacemos cambios sustanciales en la web, por ejemplo cuando cambiamos  el nombre de una URL, los pasos a seguir serían:

1- Quitar del sitemap el nombre de la antigua URL e introducir la nueva
2-Poner en un archivo de robots txt la antigua URL y subirlo a la raiz del       FTP.

Por otro lado, en caso de tener contenido duplicado en nuestro site debemos poner robots txt para que Google no nos penalice, esto cobra especial importancia desde que Google indexa flash, porque hasta ahora había muchas webs en flash que estaban duplicadas en HTML para que los buscadores pudiesen indexarlas, pero como actualmente puede leer este lenguaje de programación es posible que considere que estas webs tienen gran cantidad de contenido duplicadas, por lo que debemos poner un robots txt en una de las dos partes (es recomendable ponerlo en la parte flash)

Ubicación

La ubicación de robots.txt es muy importante. Debe estar en el directorio principal, porque de lo contrario los motores de búsqueda no serán capaces de encontrarlo. Debe de ponerse en el directorio raiz del sitio, por ejemplo,  http://tutorialmonsters.com/robots.txt. y si los búscares no lo encuentran allí, simplemente asumen que este sitio no tiene un archivo robots.txt

Estructura de un fichero robots.txt

La estructura de un archivo robots.txt es bastante simple, es una lista interminable de los agentes de usuario y los archivos y directorios no permitidos. Básicamente, la sintaxis es como sigue:

[highlight]User-agent:
Dissallow:[/highlight]

«User-agent» son los rastreadores de motores de búsqueda y Disallow: muestra los archivos y directorios que deben excluirse de la indexación. Además de «user-agent» y «disallow» las entradas, puede incluir líneas de comentarios – sólo hay que poner el signo # al comienzo de la línea:

[highlight]# Todos los User-agent no están permitidas para ver el directorio / temp.
User-agent: *
Disallow: / temp /[/highlight]

Ejemplos de ficheros robots.txt

Para ver ejemplos visita la web http://www.robotstxt.org/ donde encontraras informaciñon muy completa del funcionamiento.

Chequear fichero robots.txt

A veces puede ser necesario verificar el fichero robots.txt, desde esta herramienta puedes hacer esto online, y como siempre diga, comprobar, comprobar y volver a comprobar que todo funciona correctamente:

http://tool.motoricerca.info/robots-checker.phtml

Etiquetas: Disallowrobots.txtUser-agent
ANUNCIO
Post anterior

Framework muy apañado para el diseño web, 960 grid

Próximo Post

Formación: Google Webmaster Academy

Otros Posts

SEO Básico: ¿Qué es el Permanlink (enlaces permanentes)?

La importancia del link building para SEO

24 mayo, 2022
0

La estructuración de enlaces para tu web logra hacer que dé un salto de categoría y la encuentre mucha más gente aumentando de forma considerablemente las visitas. Tiene un potencial mayor de lo que a...

seo mejores herramientas@3x

Cómo escalar posiciones en Google

7 abril, 2022
0

El objetivo que buscas con una estrategia SEO es escalar posiciones en los resultados de búsqueda. Evidentemente, no es tan fácil como decirlo, ya que requiere de mucho trabajo, esfuerzo y constancia. A pesar de...

Recomendados

crecimiento

Cómo cambiar mi web y ganar posicionamiento

9 febrero, 2019
Tutorial crear efecto metálico en un botón

¿Por que en Photoshop el cursor de mi pincel se cambia solo?

4 febrero, 2011
Web semantica con HTML5

Web semantica con HTML5

11 febrero, 2016
¿Qué es Unicode UTF-8?

¿Qué es Unicode UTF-8?

14 febrero, 2011

Tutotial Monsters

Somos un equipo creativo apasionado por brindar los mejores recursos gratuitos y premium a la comunidad de diseño.
PADAWAN

  • Home
  • Política de privacidad
  • Política de Cookies
  • Aviso Legal
  • Contactar

© 2020 Tutorial Monsters - Estamos para Colaborar SEOConsultora.

Sin Resultado
Ver Todos los Resultados
  • Html5
  • CSS3
  • PHP
  • Photoshop
  • WordPress
  • SEO
  • eCommerce
  • Marketing
  • Store
Este sitio web utiliza cookies. Al continuar utilizando este sitio web, usted da su consentimiento para que se utilicen cookies. Visite nuestra Política de privacidad y cookies .