robots.txt icinde tarayicilari ne zaman engellemek mantiklidir
robots.txt icinde hangi alanlarin engellenmesinin mantikli oldugunu ve hangilerinin acik kalmasi gerektigini ogrenin.
Dusuk degerli alanlari engelleyin, ana icerigi degil
Robots.txt en cok gereksiz taramayi azalttiginda faydalidir. Dahili arama sonuclari, cift filtre gorunumleri, gecici staging bolumleri veya gorunurluk gerektirmeyen yardimci yollar iyi orneklerdir.
Bu, ana kategorileri, money page sayfalarini veya onemli editoral icerigi engellemekten farklidir. Bu bolumlerin genelde taranabilir kalmasi gerekir ki arama motorlari siteyi dogru anlayabilsin.
Tarama kalitesi ve launch riski acisindan dusunun
Faydali kural basittir: deger tasiyani degil, gurultu ureteni engelleyin. Bir yol esas olarak dahili is akislarina hizmet ediyor ya da sonsuz URL kombinasyonlari uretuyorsa, robots.txt icin guclu bir aday olabilir.
Yayina almadan once kuralin rank almak istediginiz bir bolumu gizlemedigini kontrol edin. Pek cok robots.txt hatasi syntax yanlisligindan degil, kural arkasindaki kararlarin incelenmemesinden kaynaklanir.