15%

Π—Π°ΠΎΡ‰Π°Π΄ΠΆΡƒΠΉΡ‚Π΅ 15% Π½Π° всіх послугах хостингу

ΠŸΠ΅Ρ€Π΅Π²Ρ–Ρ€Ρ‚Π΅ свої Π½Π°Π²ΠΈΡ‡ΠΊΠΈ Ρ‚Π° ΠΎΡ‚Ρ€ΠΈΠΌΠ°ΠΉΡ‚Π΅ Π—Π½ΠΈΠΆΠΊΡƒ Π½Π° Π±ΡƒΠ΄ΡŒ-який Ρ‚Π°Ρ€ΠΈΡ„Π½ΠΈΠΉ ΠΏΠ»Π°Π½

Використовуй ΠΊΠΎΠ΄:

Skills
ΠŸΠΎΡ‡Π°Ρ‚ΠΈ
30.10.2024

ВимкнСння індСксації Π² robots.txt

Π€Π°ΠΉΠ» robots.txt – Ρ†Π΅ простий тСкстовий Ρ„Π°ΠΉΠ», який повідомляє ΠΏΠΎΡˆΡƒΠΊΠΎΠ²ΠΈΠΌ систСмам, які Ρ€ΠΎΠ·Π΄Ρ–Π»ΠΈ вашого сайту ΠΌΠΎΠΆΡƒΡ‚ΡŒ Π°Π±ΠΎ Π½Π΅ ΠΌΠΎΠΆΡƒΡ‚ΡŒ Π±ΡƒΡ‚ΠΈ проіндСксовані. Π―ΠΊΡ‰ΠΎ Π²ΠΈ Ρ…ΠΎΡ‡Π΅Ρ‚Π΅ ΠΎΠ±ΠΌΠ΅ΠΆΠΈΡ‚ΠΈ доступ Π΄ΠΎ ΠΏΠ΅Π²Π½ΠΈΡ… сторінок, ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³Ρ–Π² Π°Π±ΠΎ Ρ„Π°ΠΉΠ»Ρ–Π², Π²ΠΈ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Π½Π°Π»Π°ΡˆΡ‚ΡƒΠ²Π°Ρ‚ΠΈ Ρ†Ρ– обмСТСння Ρƒ Ρ„Π°ΠΉΠ»Ρ– robots.txt. Π’ΠΈΠΊΠΎΡ€ΠΈΡΡ‚ΠΎΠ²ΡƒΡŽΡ‡ΠΈ послуги AlexHost, Π²ΠΈ ΠΎΡ‚Ρ€ΠΈΠΌΠ°Ρ”Ρ‚Π΅ ΠΏΠΎΠ²Π½ΠΈΠΉ доступ для управління Ρ†ΠΈΠΌ Ρ„Π°ΠΉΠ»ΠΎΠΌ, Ρ‰ΠΎ Π΄ΠΎΠΏΠΎΠΌΠΎΠΆΠ΅ Π²Π°ΠΌ Π΅Ρ„Π΅ΠΊΡ‚ΠΈΠ²Π½ΠΎ ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»ΡŽΠ²Π°Ρ‚ΠΈ Ρ–Π½Π΄Π΅ΠΊΡΠ°Ρ†Ρ–ΡŽ вашого сайту Ρ‚Π° ΠΏΠΎΠΊΡ€Π°Ρ‰ΠΈΡ‚ΠΈ SEO-ΠΎΠΏΡ‚ΠΈΠΌΡ–Π·Π°Ρ†Ρ–ΡŽ.

Π£ Ρ†Ρ–ΠΉ статті ΠΌΠΈ ΠΏΡ€ΠΎΠ²Π΅Π΄Π΅ΠΌΠΎ вас Ρ‡Π΅Ρ€Π΅Π· процСс вимкнСння індСксації Π·Π° допомогою Ρ„Π°ΠΉΠ»Ρƒ robots.txt.

ΠšΡ€ΠΎΠΊ 1: Доступ Π΄ΠΎ Ρ„Π°ΠΉΠ»Ρƒ robots.txt

Π€Π°ΠΉΠ» robots.txt Π·Π°Π·Π²ΠΈΡ‡Π°ΠΉ Ρ€ΠΎΠ·Ρ‚Π°ΡˆΠΎΠ²Π°Π½ΠΈΠΉ Ρƒ ΠΊΠΎΡ€Π΅Π½Π΅Π²ΠΎΠΌΡƒ ΠΊΠ°Ρ‚Π°Π»ΠΎΠ·Ρ– вашого Π²Π΅Π±-сайту. Наприклад, Π²ΠΈ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΠΎΡ‚Ρ€ΠΈΠΌΠ°Ρ‚ΠΈ Π΄ΠΎ нього доступ, Π²Ρ–Π΄Π²Ρ–Π΄Π°Π²ΡˆΠΈ:

http://yourwebsite.com/robots.txt

Π―ΠΊΡ‰ΠΎ Ρƒ вашого Π²Π΅Π±-сайту Ρ‰Π΅ Π½Π΅ΠΌΠ°Ρ” Ρ„Π°ΠΉΠ»Ρƒ robots.txt, Π²ΠΈ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ створити ΠΉΠΎΠ³ΠΎ Π·Π° допомогою Π±ΡƒΠ΄ΡŒ-якого тСкстового Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΎΡ€Π°. ΠŸΠ΅Ρ€Π΅ΠΊΠΎΠ½Π°ΠΉΡ‚Π΅ΡΡ, Ρ‰ΠΎ Ρ„Π°ΠΉΠ» Π½Π°Π·ΠΈΠ²Π°Ρ”Ρ‚ΡŒΡΡ robots.txt Ρ– Ρ€ΠΎΠ·Ρ‚Π°ΡˆΠΎΠ²Π°Π½ΠΈΠΉ Ρƒ ΠΊΠΎΡ€Π΅Π½Π΅Π²ΠΎΠΌΡƒ ΠΊΠ°Ρ‚Π°Π»ΠΎΠ·Ρ– вашого Π²Π΅Π±-сайту.

ΠšΡ€ΠΎΠΊ 2: Бинтаксис Ρ„Π°ΠΉΠ»Ρƒ robots.txt

Π€Π°ΠΉΠ» robots.txt використовує Π΄Π²Π° основних ΠΏΡ€Π°Π²ΠΈΠ»Π°:

  • User-agent: Π’ΠΊΠ°Π·ΡƒΡ”, Π΄ΠΎ яких ΠΏΠΎΡˆΡƒΠΊΠΎΠ²ΠΈΡ… систСм Π·Π°ΡΡ‚ΠΎΡΠΎΠ²ΡƒΡ”Ρ‚ΡŒΡΡ ΠΏΡ€Π°Π²ΠΈΠ»ΠΎ (Π½Π°ΠΏΡ€ΠΈΠΊΠ»Π°Π΄, Googlebot, Bingbot). * застосовує ΠΏΡ€Π°Π²ΠΈΠ»ΠΎ Π΄ΠΎ всіх ΠΏΠΎΡˆΡƒΠΊΠΎΠ²ΠΈΡ… систСм.
  • Disallow: Π’ΠΊΠ°Π·ΡƒΡ” сторінки Π°Π±ΠΎ ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³ΠΈ, які Π½Π΅ ΠΏΠΎΠ²ΠΈΠ½Π½Ρ– Π±ΡƒΡ‚ΠΈ проіндСксовані.

ΠšΡ€ΠΎΠΊ 3: ВимкнСння індСксації для ΠΊΠΎΠ½ΠΊΡ€Π΅Ρ‚Π½ΠΈΡ… сторінок Π°Π±ΠΎ ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³Ρ–Π²

Π©ΠΎΠ± Π·Π°Π±Π»ΠΎΠΊΡƒΠ²Π°Ρ‚ΠΈ ΠΊΠΎΠ½ΠΊΡ€Π΅Ρ‚Π½Ρ– сторінки Π°Π±ΠΎ ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³ΠΈ Π²Ρ–Π΄ індСксації, Π΄ΠΎΠ΄Π°ΠΉΡ‚Π΅ наступні рядки Π΄ΠΎ вашого Ρ„Π°ΠΉΠ»Ρƒ robots.txt:

  • Π—Π°Π±Π»ΠΎΠΊΡƒΠ²Π°Ρ‚ΠΈ ΠΊΠΎΠ½ΠΊΡ€Π΅Ρ‚Π½Ρƒ сторінку:
    User-agent: * Disallow: /private-page.html
  • Π—Π°Π±Π»ΠΎΠΊΡƒΠ²Π°Ρ‚ΠΈ Ρ†Ρ–Π»ΠΈΠΉ ΠΊΠ°Ρ‚Π°Π»ΠΎΠ³:
    User-agent: * Disallow: /private-directory/

ΠšΡ€ΠΎΠΊ 4: ВимкнСння індСксації для всього Π²Π΅Π±-сайту

Π©ΠΎΠ± Π·Π°ΠΏΠΎΠ±Ρ–Π³Ρ‚ΠΈ індСксації всього вашого Π²Π΅Π±-сайту ΠΏΠΎΡˆΡƒΠΊΠΎΠ²ΠΈΠΌΠΈ систСмами, Π΄ΠΎΠ΄Π°ΠΉΡ‚Π΅ наступнС:

User-agent: * Disallow: /

Π¦Π΅ повідомляє всім ΠΏΠΎΡˆΡƒΠΊΠΎΠ²ΠΈΠΌ систСмам Π½Π΅ індСксувати ΠΆΠΎΠ΄Π½Ρƒ сторінку Π½Π° Π²Π°ΡˆΠΎΠΌΡƒ сайті.

ΠšΡ€ΠΎΠΊ 5: ΠŸΠ΅Ρ€Π΅Π²Ρ–Ρ€Ρ‚Π΅ ваш Ρ„Π°ΠΉΠ» robots.txt

ΠŸΡ–ΡΠ»Ρ оновлСння вашого Ρ„Π°ΠΉΠ»Ρƒ robots.txt Π²Π°ΠΆΠ»ΠΈΠ²ΠΎ протСстувати ΠΉΠΎΠ³ΠΎ Π·Π° допомогою тСстСра robots.txt Π²Ρ–Π΄ Google Ρƒ Google Search Console. Π¦Π΅ΠΉ інструмСнт дозволяє Π²Π°ΠΌ ΠΏΠ΅Ρ€Π΅Π²Ρ–Ρ€ΠΈΡ‚ΠΈ, Ρ‡ΠΈ ΠΏΡ€Π°Ρ†ΡŽΡŽΡ‚ΡŒ Π²Π°ΡˆΡ– ΠΏΡ€Π°Π²ΠΈΠ»Π° Ρ‚Π°ΠΊ, як ΠΎΡ‡Ρ–ΠΊΡƒΡ”Ρ‚ΡŒΡΡ.

Висновок

Π€Π°ΠΉΠ» robots.txt – Ρ†Π΅ ΠΏΠΎΡ‚ΡƒΠΆΠ½ΠΈΠΉ інструмСнт для ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»ΡŽ Ρ‚ΠΎΠ³ΠΎ, які частини вашого Π²Π΅Π±-сайту Ρ–Π½Π΄Π΅ΠΊΡΡƒΡŽΡ‚ΡŒΡΡ ΠΏΠΎΡˆΡƒΠΊΠΎΠ²ΠΈΠΌΠΈ систСмами. ΠŸΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎ Π½Π°Π»Π°ΡˆΡ‚ΡƒΠ²Π°Π²ΡˆΠΈ ваш Ρ„Π°ΠΉΠ» robots.txt, Π²ΠΈ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Π·Π°Π±Π΅Π·ΠΏΠ΅Ρ‡ΠΈΡ‚ΠΈ, Ρ‰ΠΎΠ± Ρ‡ΡƒΡ‚Π»ΠΈΠ²ΠΈΠΉ Π°Π±ΠΎ Π½Π΅Ρ€Π΅Π»Π΅Π²Π°Π½Ρ‚Π½ΠΈΠΉ ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚ Π½Π΅ Π±ΡƒΠ² Π²ΠΈΠ΄ΠΈΠΌΠΈΠΌ Ρƒ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Π°Ρ… ΠΏΠΎΡˆΡƒΠΊΡƒ. Π—Π°Π²ΠΆΠ΄ΠΈ тСстуйтС свої ΠΏΡ€Π°Π²ΠΈΠ»Π°, Ρ‰ΠΎΠ± пСрСконатися, Ρ‰ΠΎ Π²ΠΎΠ½ΠΈ Π·Π°ΡΡ‚ΠΎΡΠΎΠ²ΡƒΡŽΡ‚ΡŒΡΡ ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎ.

15%

Π—Π°ΠΎΡ‰Π°Π΄ΠΆΡƒΠΉΡ‚Π΅ 15% Π½Π° всіх послугах хостингу

ΠŸΠ΅Ρ€Π΅Π²Ρ–Ρ€Ρ‚Π΅ свої Π½Π°Π²ΠΈΡ‡ΠΊΠΈ Ρ‚Π° ΠΎΡ‚Ρ€ΠΈΠΌΠ°ΠΉΡ‚Π΅ Π—Π½ΠΈΠΆΠΊΡƒ Π½Π° Π±ΡƒΠ΄ΡŒ-який Ρ‚Π°Ρ€ΠΈΡ„Π½ΠΈΠΉ ΠΏΠ»Π°Π½

Використовуй ΠΊΠΎΠ΄:

Skills
ΠŸΠΎΡ‡Π°Ρ‚ΠΈ