SEO3 min
Hoe robots.txt werkt en waar je het niet voor moet gebruiken
Praktische gids voor robots.txt in technische SEO, met duidelijke grenzen van wat crawler regels wel en niet kunnen doen.
Robots.txt stuurt crawling, niet geheimhouding
Een robots.txt bestand geeft crawlers instructies over welke paden ze wel of niet moeten opvragen. Dat is nuttig om onnodige crawling op lage waarde paginas te vermijden.
Daarmee wordt een geblokkeerde URL echter niet prive en ook niet gegarandeerd uit zoekresultaten gehouden.
Gebruik het als richtlijn, niet als beveiliging
Robots.txt helpt crawlgedrag te sturen, maar mag niet worden gezien als bescherming voor gevoelige inhoud.
Als een pagina prive moet blijven, zijn echte toegangscontroles nodig in plaats van alleen crawler regels.