Kiedy naprawde warto blokowac crawlery w robots.txt
Dowiedz sie, ktore obszary warto blokowac w robots.txt, a ktore zwykle powinny pozostac crawlwalne.
Blokuj obszary o niskiej wartosci, a nie tresci kluczowe
Robots.txt jest najbardziej przydatny wtedy, gdy ogranicza marnowane crawlownie. Dobre przyklady to wyniki wyszukiwania wewnetrznego, zduplikowane widoki filtrow, tymczasowe sekcje staging albo sciezki narzedziowe bez wartosci widocznosci.
To cos zupelnie innego niz blokowanie glownych kategorii, money pages czy waznych tresci redakcyjnych. Takie sekcje czesto musza pozostac crawlwalne, aby wyszukiwarki mogly prawidlowo zrozumiec witryne.
Mysl o jakosci crawlownia i ryzyku launchu
Przydatna zasada jest prosta: blokuj to, co tworzy szum, a nie to, co niesie wartosc. Jesli sciezka sluzy glownie wewnetrznym procesom albo tworzy nieskonczone kombinacje URL, moze byc dobrym kandydatem do robots.txt.
Przed publikacja sprawdz, czy regula nie ukryje sekcji, na ktorej chcesz sie pozycjonowac. Wiele bledow robots.txt nie wynika ze skladni, lecz z decyzji, ktorych nikt nie przejrzal.