Як заборонити індексацію сайту


 

Проіндексовані пошукачами сторінки забезпечують стабільну відвідуваність ресурсу. Але якщо в даний момент ваш сайт знаходиться в розробці, то поява пошукових роботів на сторінках ресурсу вкрай не бажано, тому що потрапила в пошук інформація про незаповнених розділах може на довгий час позбавити ваш ресурс цільових відвідувачів. Щоб на час захистити сайт від сканування роботами, потрібно заборонити його до індексації. Для цього досить зробити кілька нескладних змін в коді ресурсу.



Вам знадобиться

— мати хоча б початкові знання HTML
- Знати, як відкрити кореневу папку каталогу файлів вашого сайту

Інструкція

  1. Спочатку перевірте, чи є на вашому сайті файл robots.txt, який відповідає за правильну індексацію ресурсу. Для цього перейдіть за адресою http:/ / www · site · ru / robots.txt /, замінивши http:/ / www · site · ru на адресу вашого сайту.


  2. Якщо при при переході по цьому посиланню відкривається запис виду «User-agent: * Disallow …», то це означає, що потрібний файл присутній на вашому сайті. В цьому випадку зайдіть в кореневу папку, де зберігаються всі файли вашого сайту, і знайдіть файл robots.txt.


  3. Якщо система управління вашим сайтом дозволяє редагувати цей файл прямо з кореневої папки, то відкрийте robots.txt через допоміжний сервіс. При неможливості твори яких змін з файлом через інтерфейс системи збережіть документ на комп’ютер, а потім відкрийте його через програму «Блокнот».


  4. Змініть перші дві строчки документа на такі:
    «User-agent: *
    Disallow :/ «.
    Напис «User-agent: *» показує, що наступні за записом правила стосуються всіх пошуковим роботам, а «Disallow :/» означає заборону індексації всього сайту. Після корекції змісту збережіть файл.


  5. У разі відсутності на сайті файлу robots.txt створіть новий документ в програмі «Блокнот». Впишіть в нього ті ж самі два записи, розташовуючи кожну з них на новій строчці, і збережіть файл за допомогою команди «Файл-Зберегти як …» під ім’ям robots.txt.


  6. Залийте створений документ в кореневу папку вашого сайту і перевірте його функціонування, знову перейшовши за посиланням http:/ / www · site · ru / robots.txt /, де замість «http:/ / www · site · ru» впишіть адресу вашого ресурсу.

  7. Іншим способм заборони індексації є вставка спеціальних метатегів в HTML-код сторінок сайту. Для того, щоб скористатися цим методом, знайдіть в коді одній зі сторінок сайту написи « » і помістіть відразу після «» рядок ««.

  8. Якщо ваш сайту написаний на мові HTML, то такий код необхідно вставляти на кожній сторінці. Для ресурсу на PHP досить помістити такий запис у файлі header.php.