Исключенные страницы: документ является неканоническим

Очень странная произошла вещь с одним сайтом, созданном на OpenCart. Все страницы выпали из индекса Яндекса — осталось только одна — главная. Первая мысль — сайт попал под фильтр. Но это не обычный сайт, а интернет-магазин, который, кстати, приносит доход его владельцу.

Я впервые написал Платону Щукину с просьбой указать причину происшедшего.

Что же это могло произойти? Описание товаров почти все уникальные, сайт еще не продвигался и обратных ссылок пока нет.

В панели Яндекс.Вебастера в разделе «Исключенные страницы» находится информация о страницах, которые не были проиндексированы роботом.

В этом разделе находится информация о страницах, которые не были проиндексированы роботом при посещении сайта. Часто индексирование страниц намеренно запрещается вебмастером – это не является ошибкой и исправления не требует. Иногда могут возникать неполадки на стороне вашего сервера или сайта, что ведет к нежелательному исключению страниц, в этом случае проблему рекомендуется устранить.

В настройках вы самостоятельно можете указать, к какой категории относится та или иная причина исключения.

	Страницы запрещены к индексированию вебмастером или не существуют
	HTTP-статус: Ресурс не найден (404)	1
	Документ запрещен в файле robots.txt	21
	Документ является неканоническим	109

Я проверил все три категории

Ресурс не найден

Там все ОК, судя по всему кто-то набирал УРЛ в адресной строке и ошибся.

Документ запрещен в файле robots.txt

Я проверил, здесь всё правильно, эти страницы индексировать не нужно.

Документ является неканоническим

А вот тут уже интересно.

В коде документа в тэге содержится параметр rel=»canonical», содержащий канонический адрес страницы, по которому она индексируется роботом. Как правило, тег с атрибутом rel=»canonical» прописывают на дублирующих страницах сайта, в этом случае ничего исправлять не требуется.

Если страницы дублями не являются и должны индексироваться роботом, то вам необходимо убрать атрибут из их исходного кода. Более подробную информацию об использовании rel=»canonical» вы можете прочитать на следующей странице нашей Помощи.

Также в этом разделе могут присутствовать страницы, содержащие в коде документа мета-тег, и поэтому вместо них индексируются html-версии. Подробнее об индексировании AJAX-сайтов вы также можете прочитать в нашей Помощи.

Далее идет список УРЛ карточек продуктов (здесь их приводить не буду).

Теперь давайте размышлять вместе. Значит так. Что мы имеем? >Недоработку в OpenCart или странную реакцию Яндекса?

Смотрим что находится в коде страницы товара. Да там есть тег <link> с параметром rel=»canonical».

<link href="//site.ru/product-name" rel="canonical" />

Дело в том, что УРЛ, указанный в теге <link> совпадает с УРЛ самой страницы. Она что камикадзе? Что за суицит такой? Я понимаю, если бы УРЛ страницы, в коде которой был бы этот тег, указывающий на оригинал, тогда вопросов нет.

Теперь проверяем страницу этого поста моего блога, который работает на Вордпресс.

<link rel="canonical" href="//www.fortress-design.com/isklyuchennye-stranicy-dokument-yavlyaetsya-nekanonicheskim/" />

И что? И чем отличаются теги на этих двух страницах? Только тем, что у OpenCart rel="canonical" после ссылки, у WordPress — вначале. Но при этом мой блог отлично индексируется. Почему так? Где логика?

Значит Яндекс думает, что в Опенкарт эти карточки товара неканонические, а являются дублями оригинальных страниц. Но они как раз и являются оригиналами. Мда, наверное придется убирать из кода этот тег. Зачем мне проблемы? То что не нужно, я и сам закрою от индексации в robots.txt.

Читаем из Помощи Яндекса

Атрибут rel=»canonical» тега <link>

Если на сайте присутствуют группы схожих по контенту страниц, вебмастер может указать для каждой страницы группы предпочитаемый (канонический) адрес, который будет участвовать в поиске. Например, страница доступна по двум адресам:

<code>www.site.ru/pages?id=2
www.site.ru/blog</code>

Если предпочитаемый адрес — /blog, это нужно отразить в коде страницы /pages?id=2:

<code>&lt;link rel="canonical" href="//www.examplesite.ru/blog"/&gt;</code>

Робот считает ссылку с атрибутом rel=»canonical» не строгой директивой, а предлагаемым вариантом, который учитывается, но может быть проигнорирован.

Например, робот может не использовать указанный вами адрес, если:

• Документ по каноническому адресу недоступен для индексирования.
• В качестве канонического адреса указывается URL в другом домене или поддомене.
• Вы указали несколько канонических адресов.