Como ya sabemos el SEO es de vital importancia para que nuestra web tenga cierta visibilidad en Internet de forma natural. Intervienen muchos factores, y configurar el archivo Robots.txt correctamente es uno de ellos. Como veremos, es una manera de incrementar tu SEO que muy pocos mencionan, y no es muy complicado implementarla.

¿Qué es el archivo Robots.txt?

Antes de aprender a configurar este archivo debemos saber qué es. El archivo robots.txt (también llamado protocolo o estándar para la exclusión de los robots) es un pequeño archivo de texto que forma parte en Internet de cada sitio web. Aunque su presencia es de gran importancia, hay muchas personas que aún no lo conocen bien. Su diseño está pensado para trabajar con los motores de búsqueda, tipo Google.

Tal y como te comentamos este archivo, además, tiene un gran poder para aumentar el SEO, sin necesidad de realizar un gran esfuerzo; pero claro, para ello es necesario configurar el archivo Robots.txt correctamente, que es lo que realmente queremos mostrarte a lo largo de este texto.

No vas a necesitar de una gran experiencia técnica para poder configurar este pequeño archivo, y además al configurarlo correctamente te podrás beneficiar de todo su poder, consiguiendo que sea atractivo para los motores de búsqueda.

¿Qué importancia tiene saber cómo configurar el archivo robots.txt?

Este pequeño archivo es de gran importancia, ya que es el encargado de comunicarle a los motores de búsqueda qué páginas de tu sitio deben rastrear, y a su vez también les indica lo que no deben rastrear. Hay muchos tipos de archivos, este es un ejemplo de robots.txt:

User-agent:  *

Disallow: /

El asterisco que va tras User-agent significa que nuestra página web queda abierta a todos los robots que lo visiten. El Disallow indica que no queremos que se rastree ninguna página en nuestro sitio web. ¿Por qué íbamos a querer tal cosa? Si uno de los principales objetivos es que los robots rastreen nuestras páginas. Pues bien tiene un sentido, tal y como te comentaremos. Su sentido corresponde a la siguiente información que ofrece Google sobre la tasa límite de rastreo:

Este presupuesto de rastreo del cual te hablamos es “el número de URLs que el Googlebot puede y quiere rastrear”. Para una buena inversión de rastreo lo mejor es que le muestres tus páginas más valiosas dentro de tu web. Esta es una excelente forma de mejorar SEO de tu web.

De esta forma configurando tu robots.txt, puedes indicar a los bots que pasan de los motores de búsqueda que inviertan su presupuesto de rastreo de una forma inteligente, visitando solo las páginas más valiosas de tu web, las cuales son más útiles en el contexto del SEO.

¿Cómo puedes ver tu archivo Robots.txt de forma sencilla?

Puedes ver tanto tu archivo robots.txt como el de los demás de una forma muy sencilla. Tan solo tienes que poner en el navegador el nombre de la página en cuestión, y al final /robots.txt. Puedes comprobarlo ahora mismo para ver qué te aparece. Quedaría de esta forma al ponerlo en el navegador, sirviéndonos como ejemplo de esta página: http://nokeon.com/robots.txt

Configurar el archivo Robots.txt

Por último, ahora que ya sabes la importancia que tiene el archivo Robots.txt y cómo puedes verlo, vamos a darte diferentes opciones para configurarlo. Por un lado está la forma sencilla de configurarlo, que es la que prácticamente todo el mundo tiene. Para configurarlo deberás acceder al cpanel de tu servidor o al FTP y buscar el archivo editable Robots.txt, y a continuación marcar la opción de editar.

Lo que te interesa saber es lo que hemos comentado anteriormente. Para que todos los robots de los motores de búsqueda la primera línea debe quedar así:

User-agent:  *

En la siguiente línea de texto «Disallow:» debes poner aquellas páginas que no quieres que sean rastreadas por el buscador, te pueden interesar las que estén duplicadas, las que sean de agradecimiento o las que no tengan ningún valor en los buscadores, y repercutan así negativamente en tu SEO. Por ejemplo para el ahorro que hemos dicho anteriormente puedes poner si tienes WordPress:

Disallow: /wp-admin/

Para que los motores de búsqueda no desperdicien su tiempo en rastrear este archivo que solo se utiliza para entrar en la parte privada de nuestro sitio web.
También deberías saber que la consola de Google search pone a tu disposición un apartado de pruebas para robots.txt para ver cómo se quedaría y si google lo detecta como válido.

Desde ahí ya puedes dejar configurado tu archivo Robots.txt y enviarlo a Google. Como ves no es nada complicada la configuración de este archivo, y además puedes ayudar a tu SEO, aportándole más seguridad; ya que si ayudas a los motores de búsqueda a realizar un rastreo inteligente de tus páginas, acabarás obteniendo una mayor visibilidad.