robots.txt dosyasında İndekslemeyi Devre Dışı Bırakma

A robots.txt dosyası, arama motorlarına sitenizin hangi bölümlerinin dizine eklenip eklenemeyeceğini söyleyen basit bir metin dosyasıdır. Belirli sayfalara, dizinlere veya dosyalara erişimi kısıtlamak istiyorsanız, bu kısıtlamaları robots.txt dosyasında ayarlayabilirsiniz. AlexHost hizmetleri ile bu dosyayı yönetmek için tam erişim elde edeceksiniz, bu da sitenizin dizinlemesini etkili bir şekilde kontrol etmenize ve SEO optimizasyonunu geliştirmenize yardımcı olacaktır.

Bu makalede, robots.txt dosyasını kullanarak dizinlemeyi devre dışı bırakma konusunda sizi yönlendireceğiz.

Adım 1: robots.txt Dosyasına Erişim

robots.txt dosyası genellikle web sitenizin kök dizininde bulunur. Örneğin, ona erişmek için şu adresi ziyaret edebilirsiniz:

Eğer web sitenizde henüz bir robots.txt dosyası yoksa, herhangi bir metin düzenleyici kullanarak bir tane oluşturabilirsiniz. Dosyanın adının robots.txt olduğundan ve web sitenizin kök dizininde bulunduğundan emin olun.

Adım 2: robots.txt Söz Dizimi

robots.txt dosyası iki temel kural kullanır:

• User-agent: Kuralın hangi arama motoru tarayıcılarına uygulanacağını belirtir (örneğin, Googlebot, Bingbot). * tüm arama motorlarına kuralı uygular.
• Disallow: Tarayıcıların taramaması gereken sayfaları veya dizinleri belirtir.

Adım 3: Belirli Sayfalar veya Dizinler için Dizinlemeyi Devre Dışı Bırakma

Belirli sayfaların veya dizinlerin dizine eklenmesini engellemek için robots.txt dosyanıza şu satırları ekleyin:

• Belirli bir sayfayı engelle:
  User-agent: * Disallow: /private-page.html
• Tüm bir dizini engelle:
  User-agent: * Disallow: /private-directory/

Adım 4: Tüm Web Sitesi için Dizinlemeyi Devre Dışı Bırakma

Arama motorlarının tüm web sitenizi dizine eklemesini engellemek için şunları ekleyin:

Bu, tüm arama motoru tarayıcılarına sitenizdeki hiçbir sayfayı dizine eklememelerini söyler.

Adım 5: robots.txt Dosyanızı Test Edin

robots.txt dosyanızı güncelledikten sonra, Google Search Console’daki Google’ın robots.txt Tester’ını kullanarak test etmek önemlidir. Bu araç, kurallarınızın beklendiği gibi çalışıp çalışmadığını doğrulamanıza olanak tanır.

Sonuç

robots.txt dosyası, web sitenizin hangi bölümlerinin arama motorları tarafından dizine ekleneceğini kontrol etmek için güçlü bir araçtır. robots.txt dosyanızı doğru bir şekilde yapılandırarak, hassas veya alakasız içeriğin arama motoru sonuçlarında görünmediğinden emin olabilirsiniz. Her zaman kurallarınızı test edin, böylece doğru bir şekilde uygulandıklarından emin olabilirsiniz.