Новости Google: тег noindex не отменяет сканирование сайта ботом

[Dr.Efimov]

Существует несколько действенных способов, как можно контролировать сканирование ресурса поисковым роботом. Однако к ним не принадлежит использование тега noindex. На этом в очередной раз настаивает американский поисковик.

В частности, Джон Мюллер (John Mueller) в своем Твиттере на днях оставил запись следующего содержания:

"На самом деле noindex это команда группы индексирования. Она ни в коем разе не может ограничить сканирование сайта нашими пауками".

Таким образом, если вы до сих пор считаете, что данный тег способен каким-то образом запретить Гуглу вход на ваш сайт, то вы глубоко ошибаетесь. Для этой цели есть, к примеру, файл robots.txt, в котором можно прописать необходимые запреты для поисковиков.

Что же касается тега noindex, то Google очень даже хорошо сканирует те страницы, где он упоминается. А как иначе американская поисковая система узнает, что именно мы не хотим индексировать с его помощью?!

Источник: https://www.cy-pr.com/news/se/12601/

 

[Fazer]

Разве ещё кто-то об этом не знает?
Хотя да, постоянно вижу "уникумов" которые левые ссылки и текст закрывают и в noindex и nofollow (можно ещё тряпочкой глаза прикрывать, когда неиндексируемый контент читаешь, эффект примерно тот же будет)

 

[Dr.Efimov]

по моему тут имееться ввиду совершенно другое, когда в кабинете гугла жмешь сканировать урл, он пишет о том что если на странице нет тега ноиндекс то ббшка схавает страницу, если есть то жди очередь как ивсе..

 

[Fazer]

по моему тут имееться ввиду совершенно другое, когда в кабинете гугла жмешь сканировать урл, он пишет о том что если на странице нет тега ноиндекс то ббшка схавает страницу, если есть то жди очередь как ивсе..

Тут совершенно ничего не имеется ввиду. Достаточно прочесть абзац про robots.txt, на который Гугл плевал с высокой колокольни.
Очередная инфа, которая вводит людей в заблуждение. Но, с Гуглом всегда так, ничего удивительного.