♛ FORTRESS-DESIGN

Практическое руководство Платона Щукина: правильная настройка индексации

Чтобы страницы могли появиться в поиске и находиться по соответствующим запросам, они, прежде всего, должны быть успешно проиндексированы роботом. Поэтому обходу сайта стоит уделить особое внимание и о том, что необходимо для этого обязательно сделать. Об этом любезно рассказал Платон Щукин:

1. Начните с проверки HTTP-заголовков, передаваемых вашим сервером:

Увидеть HTTP-ответ от сервера на запрос той или иной страницы сайта можно с помощью инструмента «Проверка ответа сервера» в Я.Вебмастере (для этого ваш сайт должен быть уже добавлен и подтвержден в сервисе), либо вы можете воспользоваться любым сервисом проверки HTTP-заголовков (например, Bertal.ru, позволяющих в качестве User-agent выбрать Yandex.

xtock / Shutterstock.com

2.  На следующем шаге стоит подумать, какие разделы и страницы сайта должны индексироваться, а какие нет. Создайте файл robots.txt и запретите в нем обход технических и служебных разделов сайта. Если на сайте есть страницы, присутствие которых опасно в выдаче или не несет ценности для посетителей, их также стоит запретить, например:

Это позволит исключить индексирование «лишних» страниц сайта и их попадание в результаты поиска, а также поможет ускорить обход сайта в целом, так как робот будет больше внимания уделять индексированию наиболее ценных и полезных страниц.

3.  Теперь нужно проверить, что будет, если кто-то поставит ошибочную ссылку на ваш сайт:

4.   Дальше разбираемся с дублями и динамическими страницами:

5.   После того, как все настройки проверены, запрещено индексирование ненужных страниц, а также исключены дубли и динамические страницы, самое время позаботиться о том, чтобы робот быстрее узнал о страницах сайта. Для этого создайте файл sitemap, укажите в нем ссылки на все страницы, индексирование которых необходимо, и сообщите о существовании файла: пропишите директиву «Sitemap:» в robots.txt или воспользуйтесь специальной формой в сервисе Яндекс.Вебмастер. После обработки файла все страницы будут переданы в очередь на обход роботу. Особенно наличие файла sitemap актуально для сайтов, страницы которых часто обновляются, вообще не имеют ссылок, по которым они могут быть найдены или имеют очень глубокую вложенность.

Если же нужно сообщить роботу о какой-то определенной странице, то для этого подойдет форма: //webmaster.yandex.ru/addurl.xml

Дополнительная информация: