Robots.txt'nin SEO'ya etkisi nedir?

Robots.txt Nedir? Robots.txt, örümcek dediğimiz arama motoru yazılımlarının sitemizde ilk ziyaret edeceği kök dizini dosyasıdır. Site sahibi bu dosyada dizine eklenmesini ve engellenmesini istediği dosyaları belirtir ve böylece arama motoru botlarına bir sınır koyar. Bu dosyasının mutlaka her web sitesinde bulunması ve doğru komutlarla oluşturulması gereklidir. Yanlış komutlarla oluşturulmuş bir robots.txt dosyası web sitenizin hiçbir zaman dizine […]