¿Qué es un archivo Robots.txt? ¿Tengo que modificarlo?
El fichero Robots.txt nos ayuda a dejar invisibles las páginas que queramos a ojos de los "bots" de los buscadores. Esto es vital para el SEO.
Nuestros desarrolladores configuran para cada tienda online un archivo Robots.txt para que los buscadores puedan encontrar o ignorar ciertos contenidos a nuestra merced. El archivo Robots.txt es vital para el SEO de una tienda online y se puede definir como un protocolo de exclusión de robots.
No es necesario que modifiques el Robots.txt. Nuestro equipo técnico, junto al departamento de marketing y posicionamiento, han optimizado el archivo para que nuestros clientes no tengan que preocuparse por temas tan técnicos. Nos hemos asegurado de configurar este archivo usando las mejores prácticas para que Google sepa qué es lo realmente importante de tu tienda online, optimizando el “Crawl Budget” de GoogleBot y descartando aquellos enlaces o páginas que puedan ser de poco valor.
Por otra parte, nuestros desarrolladores se aseguran de tener muy bien sincronizado el archivo Robots.txt con las páginas no-index de tu tienda online, para repartir “link juice” de la mejor forma posible utilizando las mejores técnicas de “PR Sculping”.
Además, contamos con un sistema de seguridad “Blackhole” donde se bloquean ciertas IP con procedencia o comportamiento sospechoso en tu tienda online. Se trata de un mecanismo de seguridad que evita el rastreo de ciertos robots que pueden provocar problemas de seguridad y tiempo de carga en la tienda online. Nosotros hemos pensado en todo los que nuestros clientes necesitan y lo hemos optimizado para daros una gran seguridad, velocidad y posicionamiento.
Como se puede ver, configurar este archivo requiere de muchos conocimientos a nivel técnico, por lo un error en su configuración puede afectar gravemente en la tienda.