Skip to content

Capítulo 05 – Guía SEO: Para qué sirve el archivo robots.txt y cómo crear uno

¿Quieres evitar que Google muestre ciertas páginas? ¿Necesitas crear un archivo robots.txt pero no sabes cómo? ¡Entra ahora mismo y entérate de todo!

El archivo robots.txt contiene una serie de directivas que indican a los rastreadores de los motores de búsqueda cómo tienen que trabajar cuando analizan tu web. Sirve para priorizar los contenidos que más te interesa posicionar y evitar que el servidor se sobrecargue con recursos que puedan no ser tan importantes.

Este archivo forma parte de las prácticas para mantenimiento SEO, y, si no sabías cómo hacer uno ni para qué sirve, te recomendamos que sigas leyendo. Encontrarás que puede llegar a ser muy útil incluir estas directivas en tu web.

¿Para qué sirve un archivo robots.txt?

Al rastrear un sitio web, los buscadores generan solicitudes en tu servidor igual que si fuera un usuario humano recorriendo tus páginas. Dependiendo de la cantidad de recursos en tu sitio y las características del servidor donde está alojado, puede que estas solicitudes sobrecarguen la capacidad de procesamiento.

Cuando un servidor recibe demasiadas solicitudes, puede hacer que tu sitio funcione con lentitud y que Google entienda que es una web de baja calidad, lo que afectará negativamente al posicionamiento SEO.

Al crear un archivo robots.txt, estarás diciéndole al robot de Google cuáles son las URL que debería recorrer y cuáles no, de acuerdo a la ubicación de los contenidos que crees que podrían ser prescindibles para los resultados de búsqueda.

¿Robots.txt evita que las páginas aparezcan en Google?

Las directivas de robots.txt ayudan a priorizar rastreos al robot de Google, pero, aunque hayas incluido directivas para que ciertos recursos no sean rastreados, hay circunstancias que podrían hacer que las páginas igualmente aparezcan en el buscador.

Si otra web enlaza a tus contenidos, los mismos serán mostrados de todas formas. También hay que tener en cuenta que el formato estándar está diseñado para el robot de Google, pero otros rastreadores podrían indexarlos de todas formas.

Para evitar que los contenidos sean enlazados, lo más conveniente es usar la directiva noindex. Otra forma de conseguir que no se muestren ciertas páginas en las búsquedas es proteger con contraseña los contenidos que no quieras que muestre Google.

¿Cómo se crea un archivo robots.txt?

Para crear este archivo, lo ideal es usar un editor de texto como block de notas de Windows. El texto debe ser plano, por eso no es recomendable usar un procesador de texto, ya que este podría insertar caracteres que el rastreador sea incapaz de reconocer, lo cual provocará que las directivas sean ignoradas.

El archivo debe llevar el nombre robots.txt y solamente podrás usar un archivo por cada web que poseas. El mismo debe insertarse en el directorio raíz de tu sitio web, de otra manera no funcionará.

Ya que tengas todo esto claro, puedes pasar a introducir las reglas de rastreo que quieres implementar:

  • Grupos de directivas: lo primero que tendrás que introducir es a qué rastreador van dirigidas estas instrucciones. Para eso, tendrás que iniciar con el encabezado User-agent: Google bot. Esto significa que las directivas están dirigidas al robot de Google. Puedes crear un grupo de instrucciones para cada rastreador. Puedes usar user-agent: * para incluir a todos los rastreadores.
  • Una instrucción en cada línea: cada instrucción debajo del user-agent debe ocupar una sola línea. En cada línea, puedes incluir una instrucción disallow: https: //www.tusitioweb.com/ o disallow:https: //www.tusitioweb.com/tu-pagina. Si la instrucción aplica a todo un directorio, la instrucción debe terminar con /. Si se refiere a una página, debe aparecer la URL completa de la página en cuestión. Puedes usar la instrucciónallow: para indicar cuáles contenidos están permitidos para el rastreo, aunque por defecto el robot rastreará todo lo que no esté indicado con disallow:.
  • Incluir un sitemap: puedes indicar a los rastreadores que incluyan tu archivo sitemap en sus búsquedas mediante la instrucción sitemap:. Tendrás que indicar la ubicación exacta con una URL completa. Esto ayudará a posicionar correctamente los contenidos prioritarios.

Cómo subir un archivo robots.txt

Una vez que hayas terminado el trabajo y tengas el archivo de texto correspondiente en tu ordenador, deberás subirlo al directorio raíz del sitio. Esto se puede hacer mediante el gestor de archivos de tu servicio de hosting o usando un cliente FTP.

Si tienes alguna duda, puedes consultar con tu proveedor de alojamiento para que te indiquen cómo subir el archivo al directorio correspondiente.

Cómo saber si robots.text funciona

La mejor manera de poner a prueba las instrucciones de tu archivo, es mediante la herramienta de prueba de arobots.txt de Google Search Console. Si el archivo fue subido correctamente, podrás probar la validez de la sintaxis de las instrucciones para el rastreador. En caso de que haya sido subir de forma errónea, la herramienta no funcionará.

Robots.txt en gestores de contenido

Un CMS o gestor de contenidos es una plataforma que te permite diseñar sitios mediante una interfaz gráfica, sirviéndose de herramientas nativas y plugins. Algunos de los CMS más conocidos son WordPress, Wix y Blogger, siendo el primero el más popular por la flexibilidad que ofrecen sus plugins casi ilimitados, entre otras destacables ventajas.

Si estás usando uno de estos gestores de contenido, es posible que no sea necesario crear un archivo robots.txt, sino que es probable que puedas encontrar fácilmente herramientas propias de la plataforma que te permitan modificar las instrucciones para los rastreadores fácilmente.

¿Tienes problemas con robots.txt?

Si has seguido las instrucciones y todavía tienes problema con tu archivo robots.txt, o si quieres un poco de ayuda para hacer esto, lo mejor es contar con el consejo de un especialista.

En Nomlogo contamos con un equipo de profesionales con más de diez años de experiencia en diseño web, desarrollo WordPress y posicionamiento SEO. Puedes acceder a una sesión de asesoría completamente gratuita hoy mismo.

¡Ponte en contacto hoy para hablar con un experto!

Seguir leyendo …