v

Robots.txt dosyası, arama motorlarına sitenizin hangi bölümlerinin indekslenebileceğini veya indekslenemeyeceğini söyleyen basit bir metin dosyasıdır. Belirli sayfalara, dizinlere veya dosyalara erişimi kısıtlamak istiyorsanız, bu kısıtlamaları robots.txt dosyasında ayarlayabilirsiniz. AlexHost hizmetlerini kullanarak, bu dosyayı yönetmek için tam erişim elde edeceksiniz, bu da sitenizin dizine eklenmesini etkili bir şekilde kontrol etmenize ve SEO optimizasyonunu iyileştirmenize yardımcı olacaktır.

Bu makalede, robots.txt dosyasını kullanarak indekslemeyi devre dışı bırakma konusunda size rehberlik edeceğiz.

Adım 1: Robots.txt Dosyasına Erişin

Robots.txt dosyası genellikle web sitenizin kök dizininde bulunur. Örneğin, ziyaret ederek erişebilirsiniz:

Web sitenizde henüz bir robots.txt dosyası yoksa, herhangi bir metin düzenleyici kullanarak bir tane oluşturabilirsiniz. Dosyanın robots.txt olarak adlandırıldığından ve web sitenizin kök dizinine yerleştirildiğinden emin olun.

Adım 2: Robots.txt sözdizimi

Robots.txt dosyası iki temel kural kullanır:

• Kullanıcı aracısı: Kuralın hangi arama motoru tarayıcıları için geçerli olduğunu belirtir (ör. Googlebot, Bingbot). * kuralı tüm arama motorlarına uygular.
• İzin verme: Taranmaması gereken sayfaları veya dizinleri belirtir.

Adım 3: Belirli Sayfalar veya Dizinler için Dizin Oluşturmayı Devre Dışı Bırakın

Belirli sayfaların veya dizinlerin dizine eklenmesini engellemek için robots.txt dosyanıza aşağıdaki satırları ekleyin:

• Belirli bir sayfayı engelleyin:
  Kullanıcı aracısı: * Disallow: /private-page.html
• Bir dizinin tamamını engelleyin:
  Kullanıcı aracısı: * Disallow: /private-directory/

Adım 4: Tüm Web Sitesi için Dizin Oluşturmayı Devre Dışı Bırakın

Arama motorlarının web sitenizin tamamını indekslemesini önlemek için aşağıdakileri ekleyin:

Bu, tüm arama motoru tarayıcılarına sitenizdeki hiçbir sayfayı dizine eklememelerini söyler.

Adım 5: Robots.txt Dosyanızı Test Edin

Robots.txt dosyanızı güncelledikten sonra, Google Search Console’da Google’ın robots.txt Tester’ını kullanarak test etmeniz önemlidir. Bu araç, kurallarınızın beklendiği gibi çalışıp çalışmadığını doğrulamanıza olanak tanır.

Sonuç

Robots.txt dosyası, web sitenizin hangi bölümlerinin arama motorları tarafından indeksleneceğini kontrol etmek için güçlü bir araçtır. Robots.txt dosyanızı doğru şekilde yapılandırarak hassas veya alakasız içeriğin arama motoru sonuçlarında görünmemesini sağlayabilirsiniz. Doğru uygulandıklarından emin olmak için kurallarınızı her zaman test edin.