15 Maneras de Optimizar su Presupuesto de Rastreo (Crawl Budget) para SEO
La optimización de su Crawl Budget o Presupuesto de Rastreo ayudará a los motores de búsqueda a rastrear e indexar las páginas más importantes de su sitio web. Aquí hay 15 consejos para ayudarle a tomar el control de la indexación de su sitio web y que todo especialista en seo debería conocer.
Después de leer esta publicación, sabrá todo lo que hay que saber acerca del presupuesto de rastreo, tiene una lista de tareas para empezar a optimizar su presupuesto y estar en el buen camino para mejorar su tasa de rastreo. Comencemos con la pregunta candente. . .
¿Qué es un presupuesto de rastreo?
Su presupuesto de rastreo es el número exacto de veces que un motor de búsqueda como Google o Bing rastrea su sitio web en un período de tiempo específico. Por ejemplo, si Googlebot rastrea su sitio web 50 veces al día, podemos extrapolarlo para obtener un presupuesto mensual de aproximadamente 1500. El mejor lugar para empezar a determinar su presupuesto mensual de rastreo es utilizar Google Search Console y Bing Webmaster Tools.
Los motores de búsqueda utilizan bots para rastrear webs (conocidos como arañas) para leer cada página web en Internet, recopilar información y luego agregarlos a su índice de motores de búsqueda. Además de descifrar la información en la página, los bots también miran los enlaces internos y externos de un sitio para ayudar a obtener una mejor comprensión de las páginas web.
Los dos robots más comunes son Googlebot y Bingbot.
¿Por qué necesita optimizar su presupuesto de rastreo?
¿Con qué frecuencia ha configurado un sitio web en las herramientas para webmasters, lo ha enviado para el rastreo y luego se ha olvidado de él?Esta práctica es muy arriesgada. En esencia, está diciendo a los motores de búsqueda que lean sus páginas, asumiendo que todas las páginas se tratarán por igual y su mejor contenido se indexará. En realidad, es posible que algunas páginas no se indexen y que los rastreadores o boots no alcancen su mejor contenido o que limiten la visibilidad en los resultados de los motores de búsqueda para las palabras clave de destino.
La optimización de su presupuesto de rastreo le permite tomar el control de los bots de los motores de búsqueda para dirigirlos directamente a sus páginas más valiosas, y asegúrese de este modo que su presupuesto aumenta en la medida de lo posible.
¿Cómo encontrar su presupuesto de rastreo?
Utilizemos Google Search Console como ejemplo. Dirigir a Rastrear> Estadísticas de rastreo para encontrar las páginas rastreadas por día como se resalta en rojo a continuación:
Es importante recordar que la optimización de su presupuesto de rastreo no es estrictamente lo mismo que SEO. Esta práctica está diseñada para hacer que sus páginas sean más visibles para los motores de búsqueda, lo que en última instancia afectará su posicionamiento en los buscadores; sin embargo, está diseñado exclusivamente para los robots – no para los seres humanos.
Por lo tanto, ahora ya sabes cuál es tu presupuesto de rastreo: veamos 15 formas en que podemos optimizar tu presupuesto para que tu sitio sea lo más rápido posible para las arañas de los motores de búsqueda.
1. Configuración de las Herramientas para webmasters de Google Search Console y Bing
En primer lugar, veamos cómo se definen estas dos herramientas:
Google Search Console: «Un servicio gratuito ofrecido por Google que le ayuda a supervisar y mantener la presencia de su sitio en los resultados de búsqueda de Google».
Bing Webmaster Tools – «Un servicio gratuito como parte del motor de búsqueda Bing de Microsoft que permite a los webmasters agregar sus sitios web al rastreador de índices Bing».
Como se mencionó anteriormente, Google Search Console y las Herramientas para webmasters de Bing deben ser el punto de partida para determinar el presupuesto de rastreo. Estas herramientas le permiten ver cuántas páginas se rastrean en su sitio web cada día, divididas entre alta, media y baja, de la siguiente manera:
Para tener suficientes datos, utilice su presupuesto de rastreo mensual. Además de los datos de rastreo, estas herramientas le dan acceso a una serie de informes técnicos, tales como:
Errores del sitio
Parámetros de URL
Estado del índice
Recursos bloqueados
Eliminar URL
Puede echar un vistazo, hay algunos recursos realmente útiles en esta guía de Google Search Console es un gran punto de partida. Guía Google Search Console
2. Asegúrese de que sus páginas se pueden rastrear
Para asegurar que los motores de búsqueda puedan rastrear e indexar las páginas de su site sin problemas, siga estos pasos:
Tenga cuidado al usar Flash y AJAX (especialmente en su navegación).
Flash y AJAX no son malos, sin embargo tienen un impacto en la capacidad de rastreo de su sitio web. Como regla general, evitar el uso de ambos en su navegación – esto hará que sea más complicado para los motores de búsqueda el rastrear su sitio.
Evite el uso de Javascript en su navegación
En 2007, Google afirmó que «mientras trabajamos para comprender mejor JavaScript, su mejor opción para crear un sitio que puede rastrearse por Google y otros motores de búsqueda es proporcionar enlaces HTML a su contenido.» Como con Flash y AJAX, si está Al utilizarlo, asegúrese de que es fácil de rastrear y no se utiliza en la navegación de su sitio.
1. Usar URL claras y no dinámicas
URLs dinámicas (cualquier URL con un carácter no alfabético / numérico) son en algunos casos una necesidad, por ejemplo al administrar una gran tienda de comercio electrónico puede resultar difícil tener una estructura de URL que no contenga signos de interrogación debido a la búsqueda en la base de datos . Sin embargo, la longitud de esta URL se puede administrar (en la mayoría de los casos) y tiene un efecto directo en la capacidad de rastreo de sus páginas web. Google dijo: «No todas las arañas del motor de búsqueda rastrea las páginas dinámicas, así como las páginas estáticas. Ayuda a mantener los parámetros cortos«. Si tiene URL dinámicas, manténgalas lo más cortas posible para ayudar a los motores de búsqueda a rastrear sus páginas web.
2. Asegúrese de que su mapa del sitio esté siempre actualizado
Un Sitemap XML es una listado de sus URLs que se pueden enviar a los motores de búsqueda para su indexación, pero no es un sustituto para una buena navegación en el sitio. Este se puede enviar a través de la Consola de búsqueda de Google y de las Herramientas para webmasters de Bing y es una excelente manera de ayudar a guiar a los robots a través de su sitio web.
3. Utilizar un archivo Robots.txt
Robots.txt es un simple archivo de texto que le permite instruir a los robots de los motores de búsqueda cómo rastrear su sitio web. Moz proporciona una gran hoja de trucos en robots.txt que cubre en profundidad el formato y las etiquetas. Las configuraciones comunes incluyen:
Bloqueo de acceso (Disallow: /)
Bloquear carpetas (Disallow: / carpeta /)
Bloqueo de archivos (Disallow: /file.html)
Ciertas partes de su sitio web no necesitarán la indexación pero seguirán siendo elegidos para aparecer en los resultados de búsqueda. Aquí es donde entra un archivo robots.txt para ayudar a informar a los motores de búsqueda y ayudar al proceso de rastreo.
4. Reducir las Cadenas de Redireccionamiento
Cada vez que redirija una página, se gastará un poco de su presupuesto de rastreo. Tener un gran número de redireccionamientos 301/302 en una secuencia puede provocar que Googlebot / Bingbot caiga antes de que lleguen a la página que desea rastrear. Como regla general, mantenga los redireccionamientos al mínimo y si los usa, asegúrese de que no haya más de dos en una cadena de redireccionamiento. ¡Corre el riesgo de perder la indexación!
5. Limpie sus enlaces rotos
Ahora tienes Google Search Console y Bing Webmaster Tools configuradas, puedes acceder a tu informe de enlace rotos dentro de la consola de búsqueda. Vaya a Rastrear> Errores de rastreo y verá un informe similar a este:
En Bing, diríjase a Informes y datos> Información de rastreo y verá un informe como este:
Estos informes identificarán sus enlaces rotos, ya sean 404, 301 o 302 – tendrá que obtener estos ordenados para asegurarse de que los rastreadores de los motores de búsqueda tienen una buena navegación mientras exploran a través de su sitio web. Tan pronto como un bot aterriza en su página y golpea un enlace roto simplemente se moverán a la siguiente, lo que significa que la página original que contiene el vínculo roto no se rastrea.
6. Auditar y actualizar su sitemap
Google define un Sitemap como «Un archivo en el que puede listar las páginas web de su sitio para informarle a Google y a otros motores de búsqueda sobre la organización del contenido de su sitio. Los buscadores web de motores de búsqueda como Googlebot leen este archivo para rastrear más inteligentemente su sitio. «Los sitemaps también proporcionan metadatos asociados con sus páginas, como cuándo se actualizó por última vez, con qué frecuencia cambió la página y la importancia de la página en la jerarquía de su sitio.
Si actualmente no tiene un mapa del sitio, diríjase al generador de sitios web Check Domains, pegue la URL del sitio en el cuadro de encabezado y cree un mapa del sitio. Si actualmente tiene un sitemap, vaya al archivo y busque cualquier redirección innecesaria, páginas bloqueadas, contenido duplicado, etc. Una vez que haya limpiado su sitemap, vaya a Google Search Console y Bing Herramientas para webmasters donde puede enviar su archivo para verificación.
Dependiendo de su CMS, es posible que pueda obtener un plug-in de sitemap como Yoast que generará automáticamente el mapa del sitio a medida que agregue o quite páginas. Como una nota lateral, un sitemaps también se pueden incorporar en la navegación del sitio web para ofrecer a los usuarios una vista de cada página de su sitio web,
Tener un mapa del sitio no aumentará en gran medida su ranking en los motores de búsqueda, pero sin duda ayudará a los motores de búsqueda a entender mejor su sitio web.
7. Dígale a los motores de búsqueda cómo manejar los parámetros en su URL
Google Search Console y Bing Webmaster Tools le permiten categorizar ciertos parámetros de sus URL para ayudar al proceso de rastreo. Si tiene configurado el etiquetado UTM o está enviando campañas de correo que enlazan con su sitio web, normalmente estos vínculos tendrán información adicional anexada al final de la URL. En la mayoría de los casos, no querrá que esta indexación de páginas cree contenido duplicado.
A la luz de esto, los motores de búsqueda le permiten identificar qué parámetros para indexar y que ignorar. Google Search Console es un gran lugar para comenzar con esto. Rastreo> Parámetros de URL y verá un informe similar a este:
La información de esta tabla ha sido generada automáticamente por Google, contiene los parámetros personalizados que aparecen regularmente en las URL. Aquí puede editar las sugerencias y agregar nuevos parámetros para asegurarse de que no se han indexado páginas duplicadas.
Una cosa a recordar – usar las herramientas del parámetro de URL indica a los motores de búsqueda qué páginas rastrear , así que utilice esto con la precaución, o busque la ayuda de un experto en posicionamiento seo.
8. Utilice los feeds en su beneficio
De acuerdo con Google «Feeds son una forma de sitios web grandes y pequeños para distribuir su contenido mucho más allá de los visitantes que utilizan navegadores. Los feeds permiten la suscripción a actualizaciones periódicas, entregadas automáticamente a través de un portal web, un lector de noticias o, en algunos casos, un correo antiguo «.
Los tipos de alimentación incluyen RSS, XML y Atom. Por ejemplo, si está en la industria de marketing digital y desea tener un feed único de los últimos mensajes de Search Engine Journal, Search Engine Watch y Moz, puede crear un feed que agrupa todas estas publicaciones.
Los feeds son útiles para los rastreadores web, ya que se encuentran entre los sitios web más visitados por los robots de los motores de búsqueda.
9 y 10. Identificar las páginas de bajo tráfico y enriquecer su sitio con enlaces internos
El interlinking o enlazamiento interno de la web es una técnica fantástica SEO, la conexión de una página de su sitio web a otro puede:
Mejore su navegación
Aumentar el compromiso del usuario
Distribuye la autoridad de página
Tomemos Wikipedia como ejemplo:
La importancia de los enlaces internos en general es grande, sin embargo, todavía hay un par de cosas a considerar:
Identifique sus páginas de bajo tráfico: busque las páginas con un tráfico bajo durante los últimos 12 meses e identifique dónde están enlazadas internamente. Si la calidad del contenido es baja, entonces realmente no hay mucho punto de vinculación a ella. Quite los enlaces temporalmente hasta que haya actualizado el contenido. Una vez que comience a ver más tráfico, en aproximadamente seis a 12 meses, se puede entonces enlazar de nuevo.
Da prioridad a tus páginas principales: estas son las páginas con tu mejor contenido, tasas de rebote más bajo, etc. Identifica las páginas que están creando ingresos para tu negocio y vincula a éstas otras páginas, ya que los robots de búsqueda rastrean páginas principales con más frecuencia. Al vincular más páginas de alta calidad y pasar más jugo de seo a estas páginas, verá que normalmente comienzan a rankear y los rastreadores indexarán estas páginas con más frecuencia.
Si tiene un sitio web muy grande (más de 1000 páginas) es poco probable que por cada página ciculen grandes cantidades de tráfico. Sin embargo, estas páginas son útiles para sus usuarios. En esta situación, puede vincular estas páginas internamente y decir a los rastreadores de los motores de búsqueda que las ignoren. Por ejemplo, si tiene páginas con contenido pobre (por ejemplo, menos de 100 palabras) que ofrecen valor a sus usuarios pero no a los motores de búsqueda, puede bloquear estas páginas de los rastreadores de los motores de búsqueda. Lo que observará es que los robots de los motores de búsqueda se dirigen a sus páginas de mayor contenido y de mayor calidad, lo que puede dar lugar a un aumento de la visibilidad.
11. Centrarse en la construcción de enlaces externos
El SEO Paddy Moogan definió el linkbuilding como:»El proceso de adquisición de hipervínculos de otros sitios web a los suyos.» (Moz).
Yauhen Khutarniuk (Link Assistant) realizó un estudio para averiguar si hay correlación entre el número de enlaces externos en un sitio web y el número de visitas recibidas por las arañas de los motores de búsqueda. Desde el análisis de 11 sitios y la medición de Gooblebot hits, enlaces internos y enlaces externos se encontró una fuerte correlación entre el número de veces que una araña visita un sitio web y el número de enlaces externos. Además de esto, el estudio mostró que la correlación entre los enlaces internos y el número de veces que una araña visita un sitio web es débil. Los enlaces externos son un factor importante para conseguir la visita de los bots de los motores de búsqueda para que rastreen nuestro sitio web.
12. Mejorar la velocidad del servidor
Obvio.Cuanto más rápido su servidor responda a una solicitud de página, más páginas se van a rastrear. No escatime en su alojamiento, puede estar restringiendo la velocidad y el número de páginas que se están rastreando. A medida que un robot rastrea cada página de su sitio web, ejercerá una cierta cantidad de tensión en su servidor, cuantas más páginas tenga, mayor será la tensión. Esto limitará el número de páginas que se indexarán.
Una de las principales razones por las que los motores de búsqueda rastrean sitios web lentamente se debe al propio sitio web. Sin embargo, si observa que los tiempos de carga del servidor se ven directamente afectados por Googlebot, puede cambiar la velocidad de rastreo dentro de la consola de búsqueda. Para acceder a esto, diríjase a Configuración del Sitio>»Limitar la velocidad máxima de rastreo de Google» de la siguiente manera:
Desde aquí, puede aumentar / disminuir la velocidad a la que Google rastrea su sitio, si Googlebot está ralentizando su servidor. Esta herramienta debe utilizarse con precaución.
13. Optimizar la Velocidad de Carga
Para comprobar la velocidad de su página, acceda a Pagespeed Insights, esto identificará la velocidad de varios elementos de su sitio web en varios dispositivos. Esto no sólo es útil para optimizar la experiencia de usuario, también ayuda a comparar páginas de carga lentas / rápidas para ayudar a optimizar su presupuesto de rastreo.
Podemos ver que por cada segundo de carga la tasa de rebote aumenta exponencialmente. Cuanto mayor sea el tiempo de carga, más tiempo tardará el bot en indexar su web, lo que agotará su presupuesto de rastreo y podría motivar que páginas importantes no se indexen.
14. Evite el AMP hasta que lo controles
Las Páginas Móviles Aceleradas (AMP) que están diseñadas para hacer páginas móviles extra rápidas para los usuarios, han sido un tema SEO controvertido durante el año pasado. Estas páginas son esencialmente una forma reducida de HTML que puede mostrar en lugar de la versión regular de su página. Los AMPs no son de ninguna manera un sustituto para el diseño responsive – son un añadido.
Las razones por las que AMP se incluye en esta publicación es porque va a crear dos versiones de cada página web, que a su vez duplicará su presupuesto de rastreo. AMP funciona creando una URL independiente para cada página, por ejemplo, tendrías: mysite.com/xxx/ y mysite.com/xxx/amp/.
La implementación de AMP duplicará el trabajo de las arañas de los motores de búsqueda. Por lo tanto, antes de utilizar los AMP, asegúrese de haber solucionado todos los problemas del crawl budget y aseguresé en que al agregar estas páginas no creará más trabajo.
15. Tomar el control
La optimización del crawl budget debe ser un proceso continuo que se extienda más allá de la Google Search Console. Tómese su tiempo para calcular su presupuesto de rastreo y comprenda cómo esta cifra puede influir en los objetivos de su sitio web. Hay una serie de técnicas que pueden ayudar a optimizar su presupuesto de rastreo y aunque toman tiempo y requieren atención y atención – que en última instancia, vale la pena el esfuerzo.
Optimizar el presupuesto de rastreo requiere un nivel bastante alto de conocimientos técnicos, cuanto mayor sea el sitio, más importante se vuelve y con los consejos mencionados anteriormente usted será capaz de tomar el control.
- Consultor SEO en Getafe - 27 marzo, 2023
- Consultor SEO en Fuenlabrada - 25 marzo, 2023
- Consultor SEO en Coslada - 23 marzo, 2023
