Quando realmente faz sentido bloquear crawlers no robots.txt
Entenda quais areas vale a pena bloquear no robots.txt e quais normalmente devem continuar rastreaveis.
Bloqueie areas de baixo valor, nao o conteudo principal
Robots.txt e mais util quando reduz rastreamento desperdicado. Bons exemplos sao resultados de busca interna, visoes filtradas duplicadas, secoes de staging temporarias ou caminhos utilitarios sem necessidade de visibilidade.
Isso e bem diferente de bloquear categorias principais, money pages ou conteudo editorial importante. Essas secoes muitas vezes precisam continuar rastreaveis para que os buscadores entendam o site corretamente.
Pense em qualidade de crawl e risco de lancamento
Uma regra simples ajuda bastante: bloqueie o que gera ruido, nao o que carrega valor. Se um caminho existe principalmente para fluxos internos ou cria combinacoes infinitas de URL, pode ser um bom candidato para robots.txt.
Antes de publicar, confira se a regra pode esconder uma secao que voce quer ranquear. Muitos erros de robots.txt nao surgem da sintaxe, mas da decisao por tras da regra.