SEO3 min
Come funziona robots.txt e per cosa non dovresti usarlo
Guida pratica a robots.txt per la SEO tecnica, con limiti chiari su cio che le direttive per i crawler possono e non possono fare.
Robots.txt controlla il crawling, non la segretezza
Un file robots.txt da istruzioni ai crawler su quali percorsi dovrebbero o non dovrebbero visitare. E utile per evitare crawling inutile su aree di scarso valore.
Questo pero non rende privata una URL bloccata e non garantisce che sparisca dai risultati di ricerca.
Usalo come guida, non come livello di sicurezza
Robots.txt aiuta a orientare il comportamento dei crawler, ma non dovrebbe essere trattato come protezione per contenuti sensibili.
Se una pagina deve restare privata, servono controlli di accesso reali e non solo direttive di crawling.