+7(987)266-77-00
Компания "НеоБрокер"
Компания "НеоБрокер"
Интернет продвижение и реклама. Профессионально.
+7-987-266-77-00
clients@neobroker.pro
Заказать звонок
Конструктор сайтов: Создать сайт за 10 минут!
21-31-81-595 neobroker.pro

Эффективное использование robots.txt

Файл «robots.txt» информирует поисковые машины о том, какие части вашего сайта доступны для индексирования. Данный файл обычно помещается в корень вашего сайта.
Пример показывает адрес нашего файла robots.txt

Всем поисковым машинам (символ *) запрещен доступ к директории  /images/ или другим URL, которые начинаются в /search


При желании Вы можете установить запрет на доступ поисковых систем к тем частям вашего сайта, которые как вам кажется неинтересными для пользователей поисковых систем. Помните, что если ваш сайт имеет поддомены, и вы хотите установить запрет на сканирование данных страниц, то вам необходимо создать отдельный поддомен robots.txt именно для нее.


Как правильно использовать robots.txt


Если вы хотите скрыть конфиденциальную информацию, то не нужно расчитывать на robots.txt.

  1. Поисковые системы могут помещать ссылку на «спрятанную» вами страницу.
  2. Некоторые поисковые системы, которые не поддерживают стандарты доступа для роботов, иногда могут игнорировать инструкции robots.txt.
  3. Каждый желающий может спокойно зайти в директорию robots.txt и увидеть какие части сайта вы хотите скрыть. Поэтому шифровка и установка сложных паролей через файл .htaccess является более надежным способом.

Не рекомендуем:
- давать доступ на индексацию страниц поиска,
- позволять индексировать большое количество одинаковых или похожих страниц,
- давать разрешение на индексацию страниц, которые сгенерированы прокси-сервером.

Читайте также



Контакты


Связаться по e-mail
+7-987-266-77-00
ул. Юлиуса Фучика 90а, оф.103
показать на карте
neobroker.pro
21-31-81-595
Оцените нашу компанию
Всего отзывов: 5 Средний балл: 4.30