SEO3 min
Como funciona robots.txt y para que no deberias usarlo
Guia practica de robots.txt para SEO tecnico, con limites claros sobre lo que las directivas de rastreo pueden y no pueden hacer.
Robots.txt controla el rastreo, no el secreto
Un archivo robots.txt da instrucciones a los crawlers sobre que rutas deberian o no deberian solicitar. Es util para evitar rastreo innecesario en zonas de poco valor.
Eso no convierte una URL bloqueada en privada ni garantiza que desaparezca de resultados de busqueda.
Usalo como guia, no como capa de seguridad
Robots.txt ayuda a orientar el comportamiento de rastreo, pero no deberia tratarse como proteccion para contenido sensible.
Si una pagina debe ser privada, usa controles de acceso reales en vez de depender de directivas para crawlers.