Блокирование ботов по User-agent через .htaccess файл
Подавляющее большинство сайтов работает на linux платформе, где роль веб-сервера выполняет Apache сервер. Веб-сервер обрабатывает запросы пользователей и отдает страницы сайта.
Для блокирования доступа по User-agent необходимо в корень сайта...