La araña de Google no siempre rastrea todas las páginas instantáneamente. Esto normalmente depende de tus esfuerzos en el trabajo SEO de tu web. Es posible que tu nueva página optimizada no se indexe. Si esto ocurre es hora de prestar atención y optimizar tu presupuesto de rastreo. Vamos a ver que es «presupuesto de rastreo» y que puedes hacer para optimizarlo.
Resumen del Contenido
¿Qué es el Presupuesto de Rastreo?
Un presupuesto de rastreo es el número de páginas que Google rastreará de tu sitio web en un día cualquiera. Este número varía ligeramente de un día a otro, pero es bastante estable. Google puede rastrear cuatro páginas de tu web cada día, pueden ser 500 o incluso 50000 en un día. El número de páginas rastreadas varía según tu presupuesto, que es determinado según el tamaño de tu web, la salud que tenga (depende de los errores que encuentra Google) y del número de enlaces que llevan a tu página. De estos factores puedes alterar algunos de ellos, y ahora veremos cómo puedes hacerlo.
¿Cómo funciona un rastreador?
Un rastreador como Googlebot optiene una lista de URL para rastrear en un sitio. Este lista la revisa sistemáticamente. A veces visita el archivo robots.txt para comprobar si puede rastrear las URL de la lista y una a una las URL son rastreadas. Una vez han sido rastreadas las URL y analizado el contenido añade las nuevas URL que ha encontrado a la lista y quedarán pendientes para el próximo rastreo.
Varios factores pueden hacer que Google sienta que necesita rastrear una URL. Puede ser porque hay más enlaces, o por algún tweet, o porque ha sido incluída en el mapa de sitio XML, etc… No hay una lista de factores que nos indique el motivo que lleva a Google a rastrear una página.
¿Cuándo un presupuesto de rastreo es un problema?
Como todo en la vida tiene sus partes buenas y sus partes malas. El presupuesto de rastreo no es un problema si Google tiene que rastrear muchas URL de tu web, se dedica a ello. Pero supongamos que tu sitio web tiene 250.000 URL y Google rastrea 2.500 un día. Seguramente rastree unas mas que otras, como la página principal. Si hacemos número vemos que podría tardar unos 200 días que Google rastrearan todas las páginas de tu sitio web. El presupuesto de rastreo sí es un problema ahora. Este problema no lo tendremos si Google asigna un rastreo de 50.000 URL al día. Como ves, el problema depende del presupuesto que tengamos asignado.
Vamos a indicar una serie de pasos para comprobar si tu sitio web tiene un problema de rastreo. Supondremos que tu web tiene un número pequeño de páginas para que Google pueda restear pero que no están indexadas.
- Comprobar que las páginas están disponible en el sitemap XML..
- Entrar en Google Search Console, tu sitio tiene que estar verificado
- Las estadísticas de rastreo puede ver desde este enlace, es la versión antigua de search console.
- Divide el número de páginas entre la media de páginas rastreadas por día. En la imagen de abajo puedes hacer esta cuenta.
- Si el resultado anterior es superior a 10 (tendrás al menos 10 páginas que Google podrá rastrear indexará) debes optimizar tu presupuesto de rastreo. Si acabas con un número menor de 3 veremos a continuación que hacer.
En el caso de la imagen de abajo, si tenemos 2000 paginas, vemos que de forma habitual puede rastrear todas, excepto en los días de rastrea bajo. Pero si queda claro que al menos cada 3 días podrías rastrear todas las página de la web.
¿Qué URL está Google rastreando?
Probablemente ya sepas que URL Google está rastreando en tu web. La única forma de saberlo y estar seguros es comprobando los registros log del servidor. Estos ficheros puedes editarlos con el block de notas y ver su contenido, que da un poco de «miedo» con tanto dato. Existen herramientas para ver este tipo de datos, como SEO Log File Analyser.
Consigue los registros del servidor y revísalos
Dependiendo de tu tipo de hosting contratado puede que tengas sólo disponibles algunos de tus registros. Si tu sitio web es grande y necesitas los regitros pero tu hosting no te los proporciona, está muy claro, toca cambiar de hosting o de servicio contratado.
Revisa a fondo los registro y solucionar todo los problemas que encuentres, como sugerencia empieza por los 404. Ánimo y con tiempo y dedicación puedes hacerlo.
Aumenta tu presupuesto de rastreo
Ya sabemos que es el presupuesto de ratreo y como funciona Google a la hora de ratear un sitio web. Ahora toco ver que puedes hacer para aumentar el número de páginas que rastrea Google.
Reducir los errores
El primer paso es conseguir más páginas rastreadas es asegurarse que la respuesta del servidor sea 200 (Ok, perfecto) o 301 (redirección web). el resto de código de respuesta no están bien. En los registros del servidior tendrás un listado de todos los errores. Si necesitas ayuda, con el maravilloso Screaming Frog podrás analizar tu web como lo hace la araña de Google.
Una vez tengas los registros busca errores comunes y arréglalos. La manera más sencilla de hacerlo es cogiendo todas las URL que no tengan un 200 o 301 y ordénalas por la frecuencia de acceso (por tener un punto de partida lógico).
Otra forma bastante eficiente de encontrar errores es con Google Search Console como ya vimos.
Bloquea partes de tu web
Bloquea las secciones que no tienen sentido que estén en Google, puedes hacerlo con el fichero robots.txt. En el caso de una tienda online, uno de los mayores problemas que puedes tener es el rastear de páginas con filtros. No tienes sentido esto ya que lo interesante es que Google rastree las URL de los productos, familias y subfamilias, y no los filtros que puedas tener.
Reduce las redirecciones
Cuando una URL lleva a un 301 es por algún motivo. Google verá que esa nueva URL y la añadirá a la lista para rastrearla más tarde. Esto no pasa instantáneamente, puede tardar un poco en añadirla y luego ya la rastreará. Cuando tu cadena redirige , por ejemplo, desde una no www a una www, o desde una http a una https, tienes dos redirecciones y tardará más en rastrearla.
Consigue más enlaces
Es fácil decirlo, pero no hacerlo. Conseguir más enlaces es porque otros enlacezn con tu web, reconocen un trabajo bueno y por ello te enlazan. Una buena imagen pública y un buen trabajo en las redes sociales pueden dar mas enlaces.
Conclusión
La optimización del presupuesto de rastreo no es una tarea fácil. Si estás haciendo mantenimiento de un sitio web correctamente, o tu sitio es relativamente pequeño, probablemente no lo necesites. Si tiene un tamaño medio y un buen mantenimiento, es bastante fácil hacerlo siempre y cuando te bases y sigas los consejos de este artículo.
