Новости Google: тег noindex не отменяет сканирование сайта ботом

Dr.Efimov

Новичок
Регистрация
22 Фев 2017
Сообщения
69
Реакции
29
Баллы
18
Существует несколько действенных способов, как можно контролировать сканирование ресурса поисковым роботом. Однако к ним не принадлежит использование тега noindex. На этом в очередной раз настаивает американский поисковик.

В частности, Джон Мюллер (John Mueller) в своем Твиттере на днях оставил запись следующего содержания:

"На самом деле noindex это команда группы индексирования. Она ни в коем разе не может ограничить сканирование сайта нашими пауками".

Таким образом, если вы до сих пор считаете, что данный тег способен каким-то образом запретить Гуглу вход на ваш сайт, то вы глубоко ошибаетесь. Для этой цели есть, к примеру, файл robots.txt, в котором можно прописать необходимые запреты для поисковиков.

Что же касается тега noindex, то Google очень даже хорошо сканирует те страницы, где он упоминается. А как иначе американская поисковая система узнает, что именно мы не хотим индексировать с его помощью?!

Источник: https://www.cy-pr.com/news/se/12601/
 

Fazer

Приватовец
Приватовец
Регистрация
21 Фев 2017
Сообщения
275
Реакции
177
Баллы
43
Разве ещё кто-то об этом не знает?
Хотя да, постоянно вижу "уникумов" которые левые ссылки и текст закрывают и в noindex и nofollow :D (можно ещё тряпочкой глаза прикрывать, когда неиндексируемый контент читаешь, эффект примерно тот же будет)
 

Dr.Efimov

Новичок
Регистрация
22 Фев 2017
Сообщения
69
Реакции
29
Баллы
18
по моему тут имееться ввиду совершенно другое, когда в кабинете гугла жмешь сканировать урл, он пишет о том что если на странице нет тега ноиндекс то ббшка схавает страницу, если есть то жди очередь как ивсе..
 

Fazer

Приватовец
Приватовец
Регистрация
21 Фев 2017
Сообщения
275
Реакции
177
Баллы
43
по моему тут имееться ввиду совершенно другое, когда в кабинете гугла жмешь сканировать урл, он пишет о том что если на странице нет тега ноиндекс то ббшка схавает страницу, если есть то жди очередь как ивсе..
Тут совершенно ничего не имеется ввиду. Достаточно прочесть абзац про robots.txt, на который Гугл плевал с высокой колокольни.
Очередная инфа, которая вводит людей в заблуждение. Но, с Гуглом всегда так, ничего удивительного.
 
Сверху Снизу