8 марта 2012 года Яндекс.Вебмастер уведомил об изменениях в обработке директивы ‘Allow’ файла robots.txt, с помощью которого можно разрешить или запретить индексирование сайта поисковым роботом Яндекса.
По новым правилам, если страница сайта попадает под действие нескольких директив ‘Allow’ и/или ‘Disallow’, то будет применяться директива с наибольшей длиной префикса URL. При определении длины префикса спецсимвол «звёздочка» ‘*’ не учитывается.
Если на вашем сайте в robots.txt совместно используются директивы ‘Allow’ и ‘Disallow’, следует проверить их на соответствие новым стандартам. В этом вам поможет специальная форма проверки robots.txt.
Подробнее об использовании директив вы можете прочитать в Помощи Яндекса.