Dezactivarea indexării în robots.txt

Un fișier robots.txt este un fișier text simplu care indică motoarelor de căutare care secțiuni ale site-ului dvs. pot sau nu pot fi indexate. Dacă doriți să restricționați accesul la anumite pagini, directoare sau fișiere, puteți configura aceste restricții în robots.txt. Folosind serviciile AlexHost, veți obține acces complet la gestionarea acestui fișier, ceea ce vă va ajuta să controlați eficient indexarea site-ului dvs. și să îmbunătățiți optimizarea SEO.

În acest articol, vă vom ghida prin dezactivarea indexării utilizând fișierul robots.txt.

Pasul 1: Accesați fișierul robots.txt

Fișierul robots.txt este localizat de obicei în directorul rădăcină al site-ului dvs. web. De exemplu, îl puteți accesa accesând:

Dacă site-ul dvs. web nu are încă un fișier robots.txt, puteți crea unul utilizând orice editor de text. Asigurați-vă că fișierul se numește robots.txt și este plasat în directorul rădăcină al site-ului dvs. web.

Pasul 2: Sintaxa fișierului robots.txt

Fișierul robots.txt utilizează două reguli de bază:

• User-agent: Specifică la ce crawlere de motoare de căutare se aplică regula (de exemplu, Googlebot, Bingbot). * aplică regula la toate motoarele de căutare.
• Disallow (Interzicere): Specifică paginile sau directoarele care nu ar trebui să fie explorate.

Pasul 3: Dezactivați indexarea pentru anumite pagini sau directoare

Pentru a bloca indexarea anumitor pagini sau directoare, adăugați următoarele linii la fișierul robots.txt:

• Blocați o anumită pagină:
  User-agent: * Disallow: /private-page.html
• Blocați un întreg director:
  User-agent: * Disallow: /private-directory/

Pasul 4: Dezactivați indexarea pentru întregul site web

Pentru a împiedica indexarea întregului site de către motoarele de căutare, adăugați următoarele:

Acest lucru le spune tuturor crawlerelor motoarelor de căutare să nu indexeze nicio pagină de pe site-ul dvs.

Pasul 5: Testați fișierul robots.txt

După ce ați actualizat fișierul robots.txt, este important să îl testați utilizând instrumentul Google robots.txt Tester din Google Search Console. Acest instrument vă permite să verificați dacă regulile dvs. funcționează conform așteptărilor.

Concluzie

Fișierul robots.txt este un instrument puternic pentru a controla care părți ale site-ului dvs. sunt indexate de motoarele de căutare. Prin configurarea corectă a fișierului robots.txt, vă puteți asigura că conținutul sensibil sau irelevant nu este vizibil în rezultatele motoarelor de căutare. Testați-vă întotdeauna regulile pentru a vă asigura că acestea sunt aplicate corect.