ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ

  1. Главная
  2. Часто Задаваемые Вопросы

Часто Задаваемые Вопросы

Нагрузка от поисковых систем

Поисковые системы могут вызвать большую нагрузку.
Для решения проблемы нужно указать в robots.txt директиву Crawl-delay.
Директива Crawl-delay указывает поисковому роботу, чтобы он загружал страницы вашего сайта с интервалом не менее 90 секунд, другими словами просто выдерживал паузу во время индексации страниц сайта.

Пример
В корне сайта создать файл robots.txt и записать в него:
User-agent: *
Crawl-delay: 90

Вернуться к содержанию

+38 (044) 587-66-22

Мы будем рады ответить на ваши вопросы, предоставить дополнительную информацию, выслушать пожелания и предложения по работе X-HOST.UA