Для чего нужен сrawl-delay в robots.txt?

razzroman

VIP
VIP
Регистрация
10 Янв 2018
Сообщения
162
Реакции
42
Баллы
28
в данном файле есть строка
Crawl-delay: 1.0
нужна ли она вообще?вроде как ни за что не отвечает или я ошибаюсь?
 

MSE

VIP
VIP
Прошёл марафон
Регистрация
2 Апр 2017
Сообщения
142
Реакции
4
Баллы
8
Crawl-delay: устанавливает время, которое робот должен выдерживать между загрузкой страниц. Если робот будет загружать страницы слишком часто, это может создать излишнюю нагрузку на сервер. ©wikipedia
 

Den

Приватовец
Приватовец
VIP
Прошёл марафон
Регистрация
23 Фев 2017
Сообщения
1.076
Реакции
549
Баллы
113
Этот параметр давно бесполезен. Яндекс от него отказался, а Гугл просто не понимает его. И Гугл и Яндекс можно ограничить непосредственно в их вебмастерах.
 
Сверху Снизу