El archivo robots.txt es un archivo de texto que indica a los motores de búsqueda qué partes de un sitio web pueden o no pueden rastrear.
No bloquea el acceso al contenido, sino que da instrucciones a los bots de rastreo.
Robots.txt se encuentra en la raíz del dominio y sigue un estándar llamado Robots Exclusion Protocol.
Su función principal es optimizar el rastreo y evitar que Google pierda tiempo en páginas irrelevantes.
El archivo robots.txt debe estar accesible en la siguiente ruta:
https://tudominio.com/robots.txt
Si el archivo no existe, Google asumirá que no hay restricciones.
Robots.txt funciona mediante directivas simples.
User-agent especifica a qué bot se aplican las reglas.
El símbolo * indica que las reglas se aplican a todos los bots.
Disallow indica rutas que no deben rastrearse.
Allow permite excepciones dentro de rutas bloqueadas.
Estas reglas afectan únicamente al rastreo, no a la indexación.
Una página bloqueada en robots.txt puede aparecer en Google si existen enlaces externos que apunten a ella.
Para desindexar una página se deben usar meta etiquetas noindex o encabezados HTTP.
Nunca debe usarse para ocultar contenido sensible.
Un robots.txt mal configurado puede afectar gravemente al posicionamiento web.
Rellena la mayor cantidad de datos posibles y acepta las políticas de privacidad para obtener más información de nuestros servicios:
© 2009-2025 webkamy diseño de páginas web y seo
