Создание сайтов в Перми

Поисковым системам необходимо понимать, какие разделы и страницы сайта посещать, а какие нет. В этом и заключается главная суть ответа на вопрос: зачем нужен robots.txt? Если вам важна ускоренная индексация только важного контента, то роботы не должны терять время на обход всех системных папок и вложений. Создание и добавление файла robots.txt на сайт позволяет запретить обработку ненужного содержимого, сокращая при этом время на чтение других, более важных URL.

Если более углубленно вдаваться в настройку и принцип работы robots.txt, то поисковые роботы сначала загружают прописанные в файле правила, которые объясняют им, что нужно пропустить, не делая запрос на сервер, и уже после исключают лишнее, и выводят не указанные в запрещенном списке страницы. Эта процедура и помогает сэкономить ресурсы сервера и время на индексирование сайта.

Если вы заметили в кабинете вебмастера добавление дублей страниц, архивные, встраиваемые и прочие нежелательные файлы, то их лучше убрать из обработки. Давайте разберем один из оптимальных примеров robots.txt для сайтов на WordPress, и его содержимое.

Предлагаем вам не строгий, но в тоже время правильный вариант, без лишних запретов. Директива Disallow – закрывает разделы от индексирования, Allow –выборочно открывает файлы из этих разделов. Порядок сортировки директив не имеет значения.

Одной из самых частых ошибок при составлении robots.txt является закрытие: wp-includes, wp-cache, wp-plugins, wp-includes, wp-themes, wp-content и т.п., которое является устаревшим решением для WordPress.