SEO3 min
Como o robots.txt funciona e para que ele nao deve ser usado
Guia pratico de robots.txt para SEO tecnico, com limites claros sobre o que diretivas de rastreamento podem ou nao fazer.
Robots.txt controla rastreamento, nao sigilo
Um arquivo robots.txt da instrucoes aos crawlers sobre quais caminhos eles devem ou nao acessar. Isso ajuda a evitar rastreamento desperdicado em areas de pouco valor.
Mas isso nao torna uma URL bloqueada privada nem garante sua ausencia dos resultados de busca.
Use como orientacao, nao como seguranca
Robots.txt ajuda a moldar o comportamento de rastreamento, mas nao deve ser tratado como protecao de conteudo sensivel.
Se uma pagina precisa permanecer privada, use controles de acesso reais em vez de depender apenas dessas diretivas.