En el complejo mundo del SEO, hau un archivo que juega un papel esencial en el rastreo y en la indexación de tu sitio web: el robots.txt. A menudo subestimado, este archivo actúa como el portero digital de tu plataforma, determinando qué puertas abrir y cuáles mantener cerradas para los motores de búsqueda.

En este artículo, exploraremos en detalle qué es el robots.txt, cómo funciona y por qué es tan importante para tu estrategia de optimización de motores de búsqueda. Acompáñanos en este viaje para desentrañar los misterios detrás de este archivo aparentemente simple pero crítico.

¡Sigue leyendo!

Robots.txt

El archivo robots.txt juega un papel vital en el rastreo y la indexación SEO, indicando a los motores de búsqueda qué URLs pueden visitar y cuáles deben evitar, siendo este principio bastante básico y fundamental, se suele subestimar, ya que realmente no se comprenden su alcance y limitaciones.

¿Qué es Robots.txt?

Robots.txt es un archivo de texto que se coloca en la raíz del sitio web y sirve para guiar a los robots de búsqueda sobre qué páginas pueden o no pueden indexar. Es como un portero que decide qué puertas abrir y cuáles mantener cerradas para los motores de búsqueda.

Cómo funciona Robots.txt

Cuando un robot de búsqueda llega a un sitio, lo primero que hace es buscar el archivo robots.txt. Este archivo le indica qué áreas del sitio puede explorar y cuáles debe evitar. Aunque no es obligatorio seguir estas instrucciones, la mayoría de los robots de búsqueda, incluido Google, suelen respetarlas.

¿Por qué es Importante?

Un error en el archivo robots.txt puede tener consecuencias graves. Podría llevar a que los motores de búsqueda ignoren partes importantes de tu sitio o, peor aún, podrían indexar contenido que preferirías mantener privado.

Privacidad

Es crucial entender que robots.txt no garantiza la privacidad. Los motores de búsqueda «éticos» respetarán las directivas, pero no evitará que terceros malintencionados accedan a la información, aunque esta se encuentre bloqueada mediante el archivo robots.txt

El formato general del Robots.txt

El archivo se puede componer de grupos que contienen reglas o directivas específicas para diferentes «user-agents» o rastreadores. Cada grupo inicia con una línea «User-agent», seguida de directivas «Allow» y «Disallow» que especifican las áreas restringidas y permitidas, respectivamente. Los rastreadores procesan estas reglas de arriba abajo, y las reglas son sensibles a mayúsculas y minúsculas. Además, se pueden incluir comentarios con el carácter «#», y se pueden usar comodines «*» para más flexibilidad.

La estructura básica del archivo es bastante simple:

# Hola Google
User-agent: [nombre-del-robot]
Allow: [URL o patrón de URL permitido]
Disallow: [URL o patrón de URL prohibido]

User-agent: [nombre-del-siguiente-robot]
Allow: [URL o patrón de URL permitido]
Disallow: [URL o patrón de URL prohibido]

Además, puedes especificar la ubicación de tu archivo sitemap.xml para ayudar a los motores de búsqueda a encontrar tus páginas más rápidamente:

Sitemap: [ubicación del sitemap]

Reglas y especificaciones del archivo Robots.txt

Aquí hay un resumen de las reglas y especificaciones más importantes:

Ubicación y validez

• El archivo robots.txt debe estar en el directorio de nivel superior del sitio y seguir un protocolo compatible (HTTP, HTTPS, FTP).
• El archivo debe llamarse robots.txt.
• Solo puede haber un archivo robots.txt por sitio.
• Los archivos robots.txt deben estar codificados en UTF-8.

Sintaxis y campos

• Los campos User-agent, Allow, Disallow y Sitemap son los más comunes.
• Los campos Allow y Disallow son las «reglas» que definen las rutas que pueden o no ser rastreadas.
• La sintaxis es :<#optional-comment>.

Características específicas

• La distinción entre mayúsculas y minúsculas es relevante en las rutas y en las URLs, pero no en el valor del campo User-agent.
• Comodines como * y $ para especificar múltiples rutas o el final de una URL.

Errores y Códigos de Estado HTTP

• Los códigos de estado 2xx permiten el rastreo.
• Los códigos de estado 3xx llevan a un máximo de cinco redirecciones antes de ser tratados como 404.
• Los códigos de estado 4xx, excepto 429, se tratan como si no hubiera un archivo robots.txt válido.
• Los códigos de estado 5xx hacen que se interrumpa temporalmente el rastreo.

Orden de Prioridad

• En caso de conflicto entre las reglas, se utiliza la regla menos restrictiva o la más específica.

Googlebot y Robots.txt

Aunque la documentación de Google es útil, no cubre todas las peculiaridades, lo que podría llevarnos a cometer errores, por ejemplo si bloqueas accidentalmente a Googlebot utilizando robots.txt, tu sitio web desaparecerá de los resultados de búsqueda de Google. Para evitar eso, Google ofrece una serie de herramientas que te permiten verificar y validar tu archivo robots.txt. Por ejemplo, Google Search Console tiene una herramienta de «probador de robots.txt» que permite verificar si tu archivo tiene errores o contradicciones.

Indexación de páginas bloqueadas por Robots.txt

Aunque un archivo robots.txt puede impedir que los motores de búsqueda como Google rastreen e indexen contenido específico de un sitio web, hay casos en los que las URLs bloqueadas aún podrían aparecer en los resultados de búsqueda. Esto sucede si hay enlaces a esas URLs en otros sitios web. En tales escenarios, la URL y cualquier información pública asociada, como el texto del enlace, podrían mostrarse en los resultados de búsqueda de Google.

Para asegurarse de que el contenido no se indexe, se pueden tomar medidas adicionales como:

• Proteger los archivos con contraseña en el servidor.
• Utilizar etiquetas meta noindex en el HTML de la página.
• Utilizar encabezados de respuesta HTTP noindex.
• Eliminar completamente la página del sitio web.

Actualizar Robots.txt

Google actualiza automáticamente la caché del archivo robots.txt de un sitio web cada 24 horas. Si necesitas acelerar este proceso, puedes utilizar la función «Enviar» en el Probador de robots.txt. Para confirmar que Google ha rastreado la versión más reciente del archivo, puedes refrescar la página del navegador en la herramienta y verificar que el código del robots.txt coincida con el que deseas que Google utilice. También puedes consultar la marca de tiempo para saber cuándo Google rastreó por última vez el archivo.

Robots habituales de Google

Aquí tienes la tabla con los rastreadores habituales, sus User-agent y una breve descripción de su función:

Preguntas sobre Robots.txt

Las preguntas sobre el archivo robots.txt son comunes y pueden variar, desde conceptos básicos hasta cuestiones técnicas avanzadas. Entender las respuestas a estas preguntas es crucial para cualquiera que busque maximizar la visibilidad de su sitio web.

1. ¿Necesita mi sitio web un archivo robots.txt?
   No es necesario, pero puede ser útil en ciertos casos.
2. ¿Qué método debo utilizar para bloquear rastreadores?
   Puede usar robots.txt, etiquetas meta robots, o encabezados HTTP X-Robots-Tag dependiendo de sus necesidades.
3. ¿Puedo retirar el sitio de otro usuario de los resultados de búsqueda?
   No, solo puedes controlar el contenido de tu propio sitio.
4. ¿Cómo puedo reducir la frecuencia con la que Google rastrea mi sitio web?
   Puede hacerlo a través de Google Search Console.
5. Si utilizo el mismo archivo robots.txt para diversos sitios web, ¿puedo usar una URL completa en vez de una ruta relativa?
   No, solo se admiten rutas relativas.
6. ¿Puedo colocar el archivo robots.txt en un subdirectorio?
   No, debe estar en el directorio raíz del sitio web.
7. Si quiero bloquear una carpeta privada, ¿puedo impedir que otras personas lean el archivo robots.txt?
   No, robots.txt es público.
8. ¿Tengo que incluir una regla Allow para permitir el rastreo?
   No es necesario, las URLs están permitidas de forma implícita.
9. ¿Sustituye la etiqueta meta robots al archivo robots.txt?
   No, ambos tienen propósitos diferentes pero complementarios.
10. ¿Si bloqueo con el archivo robots.txt una sección de mi sitio que ya aparece en los resultados de búsqueda, dejarán de aparecer estos en Google?
    No, Google seguirá intentando acceder y mostrar esos resultados en el buscador, para eliminar los resultados del buscador se debe de usar la etiqueta meta robots.

Lectura relacionada: Informe de Cobertura de Indexación en Search Console

Conceptos clave que deberías conocer si eres SEO sobre el Robots.txt

Para finalizar aunque puedan parecer simples, hay varios conceptos clave que se deben entender para implementar una estrategia de SEO efectiva mediante el archivo robots.txt

Tipo y Tamaño de Archivo

Aunque ya lo hemos comentado, asegúrate de que tu archivo robots.txt esté en la raiz del sitio y codificado en UTF-8 para evitar problemas de lectura. Ten en cuenta que Google solo puede leer archivos de hasta 500MB.

Ignorar Directivas HTML

Si utilizas Disallow, todas las directivas HTML como canonical, noindex o nofollow se ignorarán, ya que los robots no podrán acceder al HTML de la página.

Redacción de directivas

La precisión en la redacción de las directivas es crucial. Como hemos dicho puedes utilizar comodines como * y $ para formular reglas más flexibles y específicas, utiliza el probador de robots.txt de Google para estar seguro de que las directivas actuan como deseas.

Retirada de URLs

Aunque hay herramientas disponibles en Google Search Console como la Retirada de URLs, estas son soluciones temporales. Un archivo robots.txt bien estructurado es la mejor forma de que estas URLs no aparezcan.

Directivas No Oficiales

Ten en cuenta que Google ignora directivas no oficialmente reconocidas, como Crawl-delay o Noindex.

Códigos de Respuesta del Servidor

Los diferentes códigos de respuesta del servidor, como 200 (OK), 4xx (Error del cliente), 301 (Redirección permanente) y 503 (Servicio no disponible), tienen implicaciones variadas en cómo Google interactuará con tu archivo robots.txt.

No Bloquear JS y CSS

Es recomendable no bloquear archivos JavaScript y CSS, ya que Google los utiliza para entender mejor el contenido de tu página.

Contenidos 400

Si tienes páginas con códigos de respuesta 400, es mejor bloquearlas en el archivo robots.txt para ahorrar tiempo de rastreo y recursos del servidor.

Conclusión

En resumen, el robots.txt es un componente fundamental del SEO que no debe pasarse por alto. Sirve como el guardián de las puertas digitales de tu sitio web, controlando qué contenido se muestra y cuál se mantiene fuera de los motores de búsqueda.

Comprender su estructura, reglas y limitaciones es esencial para evitar errores costosos y maximizar la visibilidad en línea. Recuerda que, aunque el robots.txt puede guiar a los motores de búsqueda, no garantiza la privacidad total, por lo que es crucial complementarlo con otras medidas de seguridad si es necesario.

Al aprovechar al máximo este archivo y seguir las mejores prácticas, estarás un paso más cerca de alcanzar el éxito en el competitivo mundo del SEO.

Las paginaciones juegan un papel fundamental en la navegación de sitios web. Estas secuencias numéricas, a menudo subestimadas y pasadas por alto, son una pieza clave para mejorar la experiencia del usuario y potenciar la visibilidad de nuestras páginas en los resultados de búsqueda.

En este post, nos adentraremos en el mundo de las paginaciones SEO. Descubriremos qué son exactamente las paginaciones, cómo afectan a la indexación y clasificación de nuestro contenido en los motores de búsqueda. Aprenderemos a tratarlas adecuadamente para evitar que se conviertan en obstáculos insalvables para los bots de rastreo, garantizando así que nuestras páginas sean debidamente indexadas y valoradas por los buscadores.

Siempre es complicado elegir la mejor forma de tratar las paginaciones en un proyecto web pero vamos a intentar ofrecer una solución mediante las best practices que propone Google.

¡Allá vamos!

¿Qué son las paginaciones?

Comencemos por entender qué son las paginaciones, las cuales se presentan como un subconjunto de datos que se organizan y cargan en formato de lista de diversas formas, siendo las más comunes:

• Paginación: los usuarios utilizan links como «siguiente», «anterior», o números para navegar entre las páginas, mostrando nuevos resultados con cada cambio.
• Cargar más: se emplean botones sobre los cuales se puede hacer clic para ampliar el subconjunto de datos mostrados en los resultados.
• Scroll infinito: aquí, el usuario puede cargar más contenido simplemente desplazándose al final del listado, sin necesidad de interactuar con enlaces o botones.

Todas estas formas de paginación tienen sus pros y contras en cuanto a la experiencia del usuario, y puedes consultarlas en la documentación oficial de Google sobre paginación.

Recomendaciones de Google sobre paginaciones SEO

Ahora bien, si nos enfocamos en el apartado de SEO, Google recomienda lo siguiente:

• Enlazar las páginas secuencialmente
• Utilizar URLs correctamente
• No indexar URLs con filtros u otros criterios de ordenación

Teniendo en cuenta esta información y considerando que Google solo sigue la etiqueta «<a href>», es esencial tener en mente que si optamos por utilizar JavaScript para implementar tipos de paginación como «Cargar más» o «Scroll infinito», es necesario seguir las prácticas recomendadas SEO de Google para JavaScript.

¿Cómo mejorar el rastreo?

Google ofrece algunas recomendaciones para optimizar el rastreo de estos subconjuntos de datos en formato de lista.

En caso de ser productos, una estrategia efectiva es utilizar un feed Datos de Google Merchant Center junto con un sitemap. De esta manera, tendremos la oportunidad de aparecer en las nuevas fichas gratuitas de comerciantes las cuales pueden ser monitoreadas desde Search Console. Esto permitirá que vuestros productos pueden aparecer en los resultados orgánicos del buscador, incluso sin tener campañas publicitarias en marcha en Merchant Center. Si no tenéis cuenta en Merchant Center podéis registraros directamente en Fichas Orgánicas de Google.

Como veis, Google tiene varias formas de llegar hasta todos esos subconjuntos de datos, incluso aunque la paginación sea deficiente. Sin embargo, nuestro objetivo es brindar todas las facilidades posibles a Google y evitar obstáculos para que nos valore de la mejor forma en sus algoritmos de rankeo.

Al seguir estas recomendaciones, mejoraremos significativamente la visibilidad y el posicionamiento de nuestro contenido en los resultados de búsqueda.

¿Cómo tratar la paginación?

Para ello, Google nos ofrece diversos indicios de cuáles son aquellas formas en las que tenemos que tratar la paginación.

• Intentar enlazar siempre la primera página de la paginación para que Google comprenda cuál es el inicio del subconjunto de datos o la colección. También es conveniente añadir un enlace a la última página para que Google identifique el final.

Por tanto, todas aquellas paginaciones que son «Siguiente» y «Anterior» sin numeración, pueden resultar complicadas para que Google las entienda. Además si no son rastreables, todavía peor, ya que no usan la etiqueta <a href>.

Cabe mencionar que Google dejó de utilizar los atributos «link rel=’next'» y «rel=’prev'» según lo mencionado en un tweet de John Muller.

We don't use link-rel-next/prev at all.

— John Mueller (official) · Not #30D (@JohnMu) March 21, 2019

Siguiendo con otros indicadores importantes para que Google comprenda adecuadamente que se trata de una paginación y no de otra cosa, es aconsejable utilizar un enfoque inteligente, como agregar un parámetro de consulto o una ruta descriptiva en el paginado.

En nuestra opinión, siempre recomendamos emplear el idioma inglés para los elementos de la página. Es decir, si tenemos una URL correspondiente a una paginación, es conveniente añadir «?page=» o «/page/» junto a algún elemento descriptivo que identifique claramente que se trata de una paginación. Por lo tanto, si podemos utilizar términos en inglés, mejor.

Errores o falsos mitos sobre las paginaciones

Es común utilizar la etiqueta «noindex, follow» en las paginaciones, ya que así evitamos que el buscador indexe páginas que podrían considerarse de «baja calidad» debido a la falta de contenido único. Sin embargo, es importante destacar que desde que Google dejó de utilizar los atributos «link rel=’next'» y «rel=’prev'», ya no trata las páginas de paginación como un bloque único. En cambio, las evalúa de forma individual, como se menciona en el siguiente vídeo de Google Webmaster Central:

Si os preocupa que puedan considerarse estas páginas que dejamos indexar de la paginación, según comentan en la documentación oficial:

«Por lo general, recomendamos que asignes un título distinto a las páginas web para poder diferenciarlas. Sin embargo, las páginas de una secuencia paginada no tienen que seguir esta recomendación. Puedes utilizar los mismos títulos y descripciones en todas las páginas de la secuencia. Google intenta reconocer las páginas de una secuencia e indexarlas en consecuencia.»

Otro de los errores que se suele realizar es utilizar la meta canonical hacia la página principal de la paginación cuando explícitamente Google no recomienda su uso para eso:

No uses la primera página de una secuencia paginada como página canónica. En vez de eso, proporciona a cada página su propia URL canónica.

Lo que sí que puedes hacer es utilizar la meta canonical en el caso de que la paginación lleve filtros o utilizar la meta robots «noindex, follow». Pero, recuerda no utilizar NUNCA la meta canonical hacia otra página junto con la meta robots «noindex, follow» ya que le estarías diciendo a Google que no indexe la página hacia la que apunta la canonical.

Recuerda, por otro lado, no bloquear las paginaciones mediante el archivo robots.txt, ya que perderás toda la autoridad de los enlaces internos que estén apuntando hacia esas páginas.

Nuestra recomendación para las paginaciones SEO

Nuestra recomendación es que dejes la paginación indexable y canonicalizada hacia sí misma mediante enlaces rastreables que pueda seguir el bot de Google.

Si tu paginación es muy extensa, intenta aumentar la cantidad de items de la paginación por relevancia para disminuir la cantidad de páginas y que Googlebot no tenga que dar tantos saltos para recorrerlas.

Ahora que ya sabes cómo tener una buena paginación en tu sitio, aprovecha para utilizar también las primeras páginas de esta orientándolas a diferentes palabras claves principales, por ejemplo:

Imaginemos que tenemos un e-commerce de venta de material de música, la primera página de un listado podría ser Auriculares, la segunda Cascos, etc… así podrías rankear por diferentes consultas de búsquedas relacionadas con tu sitio.

Esperamos que con todos estos consejos seas capaz de sacarle todo el partido a las paginaciones de tu sitio. Y, si tienes cualquier duda, puedes ponerte en contacto con nuestro equipo de especialistas.

Determinadas acciones SEO benefician directamente al negocio multiplicando sus resultados mediante una síntesis de los siguientes factores:

• Acciones de multiplicación que son perdurables en el tiempo y que favorece de forma exponencial al resultado de negocio.
• El perfilado de personas que nos ayuda a disminuir la entropía y heterogeneidad social.
• La modificación de la conducta que consigue que las personas realicen la acción deseada.

Pero para ello debemos primero entender la diferenciación entre las acciones de multiplicación y las acciones lineales que son aquellas que hacen fuerza durante un periodo de tiempo definido en un canal específico.

Pero vayamos desgranando por puntos todos los factores para llegar a conseguir el resultado que nos hemos propuesto alcanzar que al fin y al cabo es una mejora en los resultados de negocio.

Acciones lineales

Normalmente solemos centrarnos mucho en crear acciones lineales que son aquellas que pensamos que pueden proporcionarnos un mayor retorno en el corto plazo pero esto no es así, si no que las realizamos por que nos motivan más el realizar acciones nuevas que profundizar en como mejorar las que ya trabajamos.

Nos motiva más el realizar acciones nuevas que profundizar en las que ya trabajamos.

Pensamos que una acción lineal puede hacer que el cliente tome una decisión de compra al proporcionarle un nuevo valor añadido, pero nada más lejos de la realidad si no que lo que estamos haciendo realmente es crear una nueva área que no tenemos trabajada ni testeada.

No quiero decir que estas acciones no sea interesante hacerlas en algún momento pero normalmente son relevantes a largo plazo y no impactan directamente sobre el negocio a corto plazo produciendo justo el efecto contrario al deseado.

Acciones de multiplicación

Por eso debemos parar y reflexionar para saber identificar cuales son nuestros multiplicadores de negocio y trabajar sobre ellos.

Por ejemplo multiplicadores que suelen afectar directamente al negocio son aquellos elementos de la página sobre los que el usuario tiene que hacer interacción.

Multiplicadores de negocio son aquellos elementos sobre los que el usuario tiene que hacer interacción

Tenemos que tener en cuenta además que no podemos dejarnos guiar solo por el diseño en aquellos multiplicadores que hayamos identificado en nuestro negocio, por tanto tenemos que actuar sobre ellos y consolidarlos como la mejor opción antes de expandirnos con nuevas áreas o acciones, pues estos multiplicadores son los que más pueden impactar sobre nuestro negocio y ofrecernos mejores resultados a corto plazo.

Perfilado de personas

Debemos de entender que cada persona tiene unas inquietudes, miedos y objetivos distintos cuando entra en un sitio web y que por tanto no podemos tratarlas a todas por igual, algunos de los principales factores que influencian sobre las personas son la confianza, la disponibilidad, el tiempo, la complejidad, el precio, la validación social, etc…

Una vez que tenemos claro que cada persona tiene unas características especiales y que hemos debido de estudiar con anterioridad a que personas va orientado nuestro sitio debemos de poder cubrir el mayor espectro posible clasificandolos en:

El competitivo

El competitivo busca la velocidad, quiere ser el primero en todo y por tanto busca los elementos clave para una toma de decisión rápida como son las valoraciones, elementos de mejor precio y rapidez, por tanto se fijará en:

• Estrellas de valoraciones
• Ofertas
• Resultados inmediatos

El metódico

El metódico busca la mejor opción y le cuesta tomar la decisión, no le importa comparar, utilizar filtros, ordenaciones, listados, no se deja influir tanto por las opiniones de terceros, por tanto se fijará en:

• Diferenciaciones
• Valores destacados
• Puntos fuerte

El espontáneo

El espontáneo se deja guiar por el principio de escasez, por preferir evitar pérdidas que adquirir ganancias y por tanto la recompensa que debe recibir debe de parecer mayor al dolor percibido, por tanto se fijará en:

• Mejor elección
• Favoritos
• Recomendados

El humanista

El humanista se deja influir por las valoraciones de terceros, busca la validación social y la pertenencia al grupo por tanto para él las características técnicas y el precio influyen menos sobre su decisión siendo los elementos más importante las recomendaciones, las opiniones y los símbolos de aprobación, por tanto se fijará en:

• Valoraciones
• Opiniones
• Validación social

Modificando la conducta

La conducta se modifica normalmente mediante estos 3 elementos principales:

1. La habilidad
   • Lo simple o complicado que es realizar la acción.
2. La motivación
   • Las ganas que se tiene de realizarla.
3. El disparador
   • El elemento sobre el que realizar la acción para que se produzca.

Cuando estos 3 elementos se alinean se produce un cambio de conducta que hace que el usuario realice la acción deseada.

Si proporcionamos los estímulos necesarios y los elementos están alineados conseguiremos modificar la conducta.

Recapitulando

1º Identificar nuestros multiplicadores principales y actuar sobre ellos para mejorar nuestros resultados.
2º Entender que existen varios perfiles de personas y que cada una de ellas tienen unas inquietudes distintas que tienen que ser cubiertas.
3º Saber que para modificar la conducta se necesita que la habilidad, la motivación y el disparador estén alineados.

Con todo lo que hemos visto, podremos entonces traducir la estructura de un mapa de contenidos o wireframe y transformarlo en emociónes que sentirán las personas al utilizar el sitio consiguiendo el objetivo marcado.