Dezactivarea indexării în robots.txt

Un fișier robots.txt este un fișier text simplu care spune motoarelor de căutare ce secțiuni ale site-ului tău pot sau nu pot fi indexate. Dacă dorești să restricționezi accesul la anumite pagini, directoare sau fișiere, poți stabili aceste restricții în robots.txt. Folosind serviciile AlexHost, vei avea acces complet pentru a gestiona acest fișier, ceea ce te va ajuta să controlezi eficient indexarea site-ului tău și să îmbunătățești optimizarea SEO.

În acest articol, te vom ghida prin procesul de dezactivare a indexării folosind fișierul robots.txt.

Pasul 1: Accesarea fișierului robots.txt

Fișierul robots.txt se află de obicei în directorul rădăcină al site-ului tău. De exemplu, poți accesa acest fișier vizitând:

Dacă site-ul tău nu are încă un fișier robots.txt, poți crea unul folosind orice editor de text. Asigură-te că fișierul este numit robots.txt și este plasat în directorul rădăcină al site-ului tău.

Pasul 2: Sintaxa fișierului robots.txt

Fișierul robots.txt folosește două reguli de bază:

• User-agent: Specifică la ce crawleri ale motoarelor de căutare se aplică regula (de exemplu, Googlebot, Bingbot). * aplică regula tuturor motoarelor de căutare.
• Disallow: Specifică paginile sau directoarele care nu ar trebui să fie crawl-uite.

Pasul 3: Dezactivarea indexării pentru pagini sau directoare specifice

Pentru a bloca indexarea unor pagini sau directoare specifice, adaugă următoarele linii în fișierul tău robots.txt:

• Blochează o pagină specifică:
  User-agent: * Disallow: /private-page.html
• Blochează un întreg director:
  User-agent: * Disallow: /private-directory/

Pasul 4: Dezactivarea indexării pentru întregul site

Pentru a preveni motoarele de căutare să indexeze întregul tău site, adaugă următoarele:

Aceasta le spune tuturor crawler-ilor motoarelor de căutare să nu indexeze nicio pagină de pe site-ul tău.

Pasul 5: Testează fișierul tău robots.txt

Odată ce ai actualizat fișierul tău robots.txt, este important să-l testezi folosind Testerul de robots.txt de la Google în Google Search Console. Acest instrument îți permite să verifici dacă regulile tale funcționează conform așteptărilor.

Concluzie

Fișierul robots.txt este un instrument puternic pentru a controla ce părți ale site-ului tău sunt indexate de motoarele de căutare. Prin configurarea corectă a fișierului tău robots.txt, poți asigura că conținutul sensibil sau irelevant nu este vizibil în rezultatele motoarelor de căutare. Testează întotdeauna regulile tale pentru a te asigura că sunt aplicate corect.