Как открыть некоторые категории в robots?

[rofl]

Привет. Нужны в robots открыть некоторые категории, при этом чтобы все остальные были закрыты.

Есть Disallow: /category/ - всё должно быть закрыто от индекса, кроме /category/open/

Получается, что нужно открыть только этот путь (/category/open/).

Первое, что пришло в голову это сделать так, но мне кажется, что это неверное решение.
Disallow: /category/
Allow: /category/open/


Что скажете?

 

[rofl]

Пришел к тому, что верно будет сделать вот так:
Allow: /category/open/
Disallow: /category/

 

[GdePost]

# Исходный robots.txt:
User-agent: Yandex
Allow: /
Allow: /catalog/auto
Disallow: /catalog
# Сортированный robots.txt:
User-agent: Yandex
Allow: /
Disallow: /catalog
Allow: /catalog/auto
# запрещает скачивать страницы, начинающиеся с '/catalog',
# но разрешает скачивать страницы, начинающиеся с '/catalog/auto'.

Документация Использование robots.txt

P.s И потом можно проверить разрешенные страницы , категории тут Анализ robots.txt — Яндекс.Вебмастер

 

[rofl]

Столкнулся с проблемой, пагинация тоже вылезла теперь там где разрешил. Как закрыть?

 

[GdePost]

пагинация тоже вылезла

Покажите хвост ссылок, которые нужно закрыть, возможно подскажу как.

 

[rofl]

Покажите хвост ссылок, которые нужно закрыть, возможно подскажу как.

/category/open/page/2

 

[OuT]

Если точечно для категории: <meta name="robots" content="noindex,follow" />

Если конструкцию по всему сайту убить:

Disallow: */page/*

 

[rofl]

Disallow: */page/*

Такое уже есть, но почему-то в случаи с Allow: /category/open/ не работает, при этом с другими страницами всё ок.
Проверял в вебмастере, показывает, что /category/open/page/2 разрешено, а /category/page/2 запрещено при этом.

 

[GdePost]

Попробуйте так без звездочек

Disallow: /page/

 

[Gazarov]

Зачем такое делать? Не советую скрывать НЕ технические страницы от поисковой системы.
Ненужные странички можно закрывать тегом meta robots noindex.

А вот пейджи лучше использовать каноникал + рел прев / next.

 

[OuT]

@rofl, тогда надо вооружаться "звездочками", проверкой robots.txt и методом подбора проверять, какая комбинация даст результат, если meta robots не хочешь юзать. Я обычно им такие вопросы решаю)

 

[rofl]

Нужно прописать дополнительно так:
Disallow: /category/open/page/*

 

[OuT]

@rofl, за это не люблю программирование) надо уметь скрупулезно линейно мыслить) "раз что-то разрешил, но нужно исключение, то укажи его точечно, иначе будет забиваться разрешением выше"