Параноя robots.txt

[Cartmont]

Доброго денечка ребята. Решил немного попараноить на тему идеальный robots.txt для DLE
Создал следующий файлик. Все ли я учел, при условии голого движка без дополнительных модулей? Помимо робота естественно еще станет модуль Noindex

Спойлер: robots.txt

# Для всех дружелюбных роботов

User-agent: *

Disallow: /backup/
Disallow: /engine/
Disallow: /uploads/
Allow: /uploads/posts

Disallow: /2017/
Disallow: /favorites/
Disallow: /page/
Disallow: /user/

Disallow: /index.php?do=
Disallow: /index.php?subaction=

Disallow: /index.php?do=allnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=search
Disallow: /index.php?do=search&mode=advanced

Disallow: /index.php?subaction=newposts
Disallow: /index.php?subaction=userinfo

Disallow: /addnews.html
Disallow: /index.php?do=addnews

Disallow: /statistics.html
Disallow: /index.php?do=stats

Disallow: /dle-rules-page.html
Disallow: /rules.html
Disallow: /index.php?do=rules

Disallow: /favorites/
Disallow: /index.php?do=favorites

Disallow: /lastnews/
Disallow: /index.php?do=lastnews

Disallow: /newposts/
Disallow: /index.php?do=newposts

Disallow: /tags
Disallow: /index.php?do=tags
Disallow: /index.php?do=alltags

Disallow: /index.php?action=
Disallow: /index.php?action=mobile

Disallow: /*print

Sitemap: https://site.com/sitemap.xml

# Для Yandex робота

User-agent: Yandex

Disallow: /backup/
Disallow: /engine/
Disallow: /uploads/
Allow: /uploads/posts

Disallow: /2017/
Disallow: /favorites/
Disallow: /page/
Disallow: /user/

Disallow: /index.php?do=
Disallow: /index.php?subaction=

Disallow: /index.php?do=allnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=search
Disallow: /index.php?do=search&mode=advanced

Disallow: /index.php?subaction=newposts
Disallow: /index.php?subaction=userinfo

Disallow: /addnews.html
Disallow: /index.php?do=addnews

Disallow: /statistics.html
Disallow: /index.php?do=stats

Disallow: /dle-rules-page.html
Disallow: /rules.html
Disallow: /index.php?do=rules

Disallow: /favorites/
Disallow: /index.php?do=favorites

Disallow: /lastnews/
Disallow: /index.php?do=lastnews

Disallow: /newposts/
Disallow: /index.php?do=newposts

Disallow: /tags
Disallow: /index.php?do=tags
Disallow: /index.php?do=alltags

Disallow: /index.php?action=
Disallow: /index.php?action=mobile

Disallow: /*print

Host: site.com
Sitemap: https://site.com/sitemap.xml

 

[Glam]

Недопустимо наличие пустых переводов строки между директивами User-agent, Disallow и Allow.

Disallow: /index.php?do=
Этим что пытаешься закрыть?

 

[Cartmont]

Спасибо, не знал.
Disallow: /index.php?do= для регистрации, статистики, правил - разного мусора, двойная перестраховка. Или не прокатит?

Без пробелов - так как приведено ниже? Пробелы с комментариями допускаются?

Спойлер: robots.txt

# Для всех дружелюбных роботов

User-agent: *
Disallow: /backup/
Disallow: /engine/
Disallow: /uploads/
Allow: /uploads/posts
Disallow: /2017/
Disallow: /favorites/
Disallow: /page/
Disallow: /user/
Disallow: /index.php?do=
Disallow: /index.php?subaction=
Disallow: /index.php?do=allnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=search
Disallow: /index.php?do=search&mode=advanced
Disallow: /index.php?subaction=newposts
Disallow: /index.php?subaction=userinfo
Disallow: /addnews.html
Disallow: /index.php?do=addnews
Disallow: /statistics.html
Disallow: /index.php?do=stats
Disallow: /dle-rules-page.html
Disallow: /rules.html
Disallow: /index.php?do=rules
Disallow: /favorites/
Disallow: /index.php?do=favorites
Disallow: /lastnews/
Disallow: /index.php?do=lastnews
Disallow: /newposts/
Disallow: /index.php?do=newposts
Disallow: /tags
Disallow: /index.php?do=tags
Disallow: /index.php?do=alltags
Disallow: /index.php?action=
Disallow: /index.php?action=mobile
Disallow: /*print

Sitemap: https://site.com/sitemap.xml

# Для Yandex робота

User-agent: Yandex
Disallow: /backup/
Disallow: /engine/
Disallow: /uploads/
Allow: /uploads/posts
Disallow: /2017/
Disallow: /favorites/
Disallow: /page/
Disallow: /user/
Disallow: /index.php?do=
Disallow: /index.php?subaction=
Disallow: /index.php?do=allnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=search
Disallow: /index.php?do=search&mode=advanced
Disallow: /index.php?subaction=newposts
Disallow: /index.php?subaction=userinfo
Disallow: /addnews.html
Disallow: /index.php?do=addnews
Disallow: /statistics.html
Disallow: /index.php?do=stats
Disallow: /dle-rules-page.html
Disallow: /rules.html
Disallow: /index.php?do=rules
Disallow: /favorites/
Disallow: /index.php?do=favorites
Disallow: /lastnews/
Disallow: /index.php?do=lastnews
Disallow: /newposts/
Disallow: /index.php?do=newposts
Disallow: /tags
Disallow: /index.php?do=tags
Disallow: /index.php?do=alltags
Disallow: /index.php?action=
Disallow: /index.php?action=mobile
Disallow: /*print

Host: site.com
Sitemap: https://site.com/sitemap.xml

 

[Glam]

Disallow: /index.php?do=

Это строкой ты закрываешь только http://site.ru/index.php?do=

Т.е. ты закрываешь конкретно этот адрес, без всяких приставок и дополнений. Символ звездочка * в robots.txt заменяет любые символы. Имеет смысл добавить его в конец. А правильно ли это будет по seo - решай сам.

 

[Cartmont]

Disallow: /index.php?do=*

или

Disallow: /*do=*

 

[AndreyM]

Disallow: /page/

А разве так не лучше страницы закрывать?
Disallow: /page/
Disallow: /*/page/*

 

[yuragan]

Disallow: /index.php?do=*

или

Disallow: /*do=*

Disallow: /*?*
или с параметрами
Disallow: /*?subaction=*
Disallow: /*?do=*
и т.д

 

[Cartmont]

Увиденное выше, заставляет параноить дальше... жду еще предложения, пополним список и создадим идеально максимальный робот.

 

[yuragan]

Увиденное выше, заставляет параноить дальше... жду еще предложения, пополним список и создадим идеально максимальный робот.

что не работает? исправил в предыдущем...
ps было без знака =

 

[sevendorf]

Да как по мне, лучше посмотреть у топ сайтов, и сделать также.

 

[byroot]

Да как по мне, лучше посмотреть у топ сайтов, и сделать также.

Не правильная логика! Надо исходить из того, что закрыто метатегом роботс, закрыть файлы двига в ДЛЕ и разрешить нужное для гугла и яши. Тупо смотреть на топ и делать как они - так делать не надо, особенно если не пониамть для чего нужна каждая строка в данном файле.

 

[BROKER]

ТС ты на провеббере в лучшие времена не одну тему создавал на счет роботса и что до сих пор так и не нашел что ли для себя лучший вариант? )))