Robots.txt — файл ограничения доступа поисковых роботов к содержимому на вашем блоге или сайте. Правильный файл robots.txt для wordpress должен соответствовать определенным правилам и содержать следующие дерективы:...
Читать далее ... >>>Tag Archives: robots.txt
Ошибки robots.txt
В данной статье приведены наиболее распространенные ошибки, допускаемые веб мастерами в файле robots.txt. Их нужно знать в лицо и не наступать на чужие грабли. А у Вас на сайте все в порядке с robots.txt?
Читать далее ... >>>