Як заборонити індексацію сторінки

Як заборонити індексацію сторінки

Сторінки кожного сайту регулярно обходяться пошуковими роботами, які обробляють розміщену на сайті інформацію, щоб вона була доступна за запитами користувачів в пошукових системах. Візити відвідувачів, що прийшли з пошукачів, позитивно впливають на відвідуваність сайту та стимулюють розвиток ресурсу. Але, якщо на сайті є сторінки, інформація на яких не призначена для інтернет-аудиторії (наприклад, особисті сторінки користувачів або сторінка реєстрації), то перехід з пошукачів на такі сторінки не потрібен і цю інформацію краще заборонити до індексації.

Вам знадобиться

- Мати власний сайт
- Знати посилання до сторінок, індексацію яких потрібно заборонити.
- Мати хоча б початкові знання HTML

Інструкція

  1. Для того щоб заборонити пошуковому роботу індексувати певні сторінки сайту, необхідно провести зміни у файлі robots.txt, якщо він вже є на вашому сайті, або створити цей файл.
  2. Якщо файл robots.txt вже залитий на сайт і можливо змінювати цей файл прямо з панелі управління ресурсом, то відкрийте robots.txt через веб-сервіс для редагування.
  3. Якщо можливості вносити зміни в потрібний файл прямо з панелі керування ні, то відкрийте robots.txt у браузері, перейшовши за посиланням до цього файлу. Скопіюйте всі дані з відкрилася сторінки і вставте на аркуш у програмі «Блокнот».
  4. При відсутності robots.txt на сайті, відкрийте програму «Блокнот», в новий документ якою потрібно буде вписати необхідну код.
  5. На порожньому аркуші текстового документа напишіть перша обов’язкова рядок:

    User-agent: *
  6. Потім перейдіть на наступну сходинку, натиснувши клавіщу Enter, і наберіть наступний код:

    Disallow: / index/page3

    Disallow: позначає заборону індексації, а / index/page3 — це посилання до сторінки, яку не потрібно індексувати. Замість посилання / index/page3 вставте посилання на сторінку вашого сайту, яку треба заборонити для обробки роботами.
  7. Зауважте, що на початку посилання відсутнє саме ім’я домену, його наявність у записі увазі похила риса. Пошуковий робот при обході сайту автоматично підставляє в такі посилання доменне ім’я. Тому посилання на потрібні сторінки пишіть саме таким чином.
  8. Після Disallow: можна поміщати не тільки посилання на конкретну сторінку, але і посилання на який-небудь розділ або директорію сайту. Подібним чином можна заборонити індексацію потрібної частини сайту.
  9. При необхідності заборони обробки роботами декількох різних ділянок ресурсу, посилання на кожен розділ або сторінку пишіть з нового рядка, на початку якої не забувайте поміщати запис Disallow:.
  10. Щоб завершити реорганізацію robots.txt, натисніть кнопку «Зберегти» в редагуванні файлу в панелі управління або збережіть текстовий документ з записами під ім’ям robots.txt і залийте цей файл на сайт.

Корисні поради

Не використовуйте для написання посилань у файлі robots.txt літери верхнього регістру. Запис User-agent: * обов’язково має бути присутня у коді файлу-інструкції для пошукових роботів. Після кожного Disallow: вказуйте посилання на одну сторінку, директорію або файл.