SEO3 min
Wie robots.txt funktioniert und wofuer sie nicht gedacht ist
Praktischer Leitfaden zu robots.txt fuer technisches SEO mit klaren Grenzen dessen, was Crawler Direktiven leisten koennen.
Robots.txt steuert Crawling, nicht Geheimhaltung
Eine robots.txt Datei gibt Crawlern Hinweise darauf, welche Pfade angefragt werden sollen oder nicht. Das ist nuetzlich, um unnoetiges Crawling in wenig wichtigen Bereichen zu vermeiden.
Dadurch wird eine gesperrte URL aber weder privat noch sicher aus Suchergebnissen herausgehalten.
Als Orientierung nutzen, nicht als Sicherheitsschicht
Robots.txt hilft beim Steuern des Crawl Verhaltens, sollte aber nicht als Schutz fuer sensible Inhalte verstanden werden.
Wenn eine Seite privat bleiben muss, sind echte Zugriffskontrollen noetig statt reiner Crawler Regeln.