Преобразование динамических URL в статические

Как  с помощью mod_rewrite преобразовать динамические URL в статические? Эта статья даст ответ, а также прояснит некоторые заблуждения, связанные с этим вопросом.

mod_rewrite не может изменить URL в браузере пользователя

Первое заблуждение: mod_rewrite нельзя использовать для изменения URL, который видит посетитель в адресной строке своего браузера, за исключением возможности использования внешнего редиректа. Но внешний редирект «оголит» динамический URL поисковику, тем самым полностью нарушит нашу цель. Наша цель в том, чтобы сделать статические URL с помощью внутренних преобразований на сервере, не используя внешнего редиректа клиента.

Также важно понимать, что mod_rewrite работает с URL после того, как сервер получил HTTP запрос и до того, как выполнится скрипт или обработается контент. Таким образом, mod_rewrite может менять путь файла на сервере и переменные, связанные с запрошенным URL, но не может изменить контент, отсылаемый сервером.

Как изменить динамический URL на статический

Вот алгоритм, который надо выполнить для создания статических URL на динамическом сайте:

• Преобразовать все ссылки на всех страницах сайта в статический формат. Обычно это делается путем изменения базы данных или скрипта, который генерирует данные страницы. В некоторых случаях с этой задачей быстро справляется функция PHP — preg_replace().
• Добавить в файл httpd.conf или .htaccess правила mod_rewrite для внутреннего преобразования статических URL, которые были запрошены клиентом, в динамический вид, необходимый для вызова скрипта генерации контента.
• Добавить дополнительный код mod_rewrite для прямых запросов клиента на динамический URL и перенаправлять их (внешним редиректом) на соответствующий статический URL. Для этого используется 301 редирект («Постоянно перемещен»), который уведомляет поисковики, что вместо старых динамических URL нужно использовать новые статические. Также внешний редирект перенаправляет посетителей, которые пришли на ваш сайт, используя старую динамическую ссылку из своих закладок.

Рассматривая вышесказанное, можно догадаться, что оба формата: и динамический, и статический URL должны содержать в себе всю информацию, необходимую для преобразования в другой формат. И запомните, что осторожный выбор «дизайна» статических URL в будущем может уберечь вас от многих проблем, а также уменьшить количество циклов процессора, которое может сильно вырасти при неумелой реализации такого преобразования.

Важное предупреждение

В цели этой статьи не входит объяснение принципов работы регулярных выражений и модуля mod_rewrite. Документация по mod_rewrite и множество других мануалов легко доступны для всех желающих.

А попытка же использовать mod_rewrite без полного ознакомления с этой документацией — первый шаг (а часто и последний) к серьезным проблемам. Запомните, что mod_rewrite влияет на конфигурацию вашего сервера и достаточно одной опечатки или логической ошибки, чтобы сделать ваш сайт недоступным для посетителей или быстро понизить ваши рейтинги в поисковых сервисах. А если ваш заработок зависит от сайта, то вам тем более необходимо внимательно изучить всю документацию.
Подробно о регулярных выражения можно прочитать в книге «Освой самостоятельно регулярные выражения».
Ниже приведен пример, который можно использовать в качестве основы при построении собственного решения.

Рабочий пример

Старый динамический формат URL:

index\.php?product=widget&color=blue&size=small&texture=fuzzy&maker=widgetco

Новый статический формат URL:

/product/widget/blue/small/fuzzy/widgetco

Код mod_rewrite, используемый в .htaccess:

# Запуск mod_rewrite
Options +FollowSymLinks
RewriteEngine on
#
# Внутренние преобразования статических URL в динамические
RewriteRule ^product/([^/]+)/([^/]+)/([^/]+)/([^/]+)/([^/]+)/?$
/index.php?product=$1&color=$2&size=$3&texture=$4&maker=$5 [L]
#
# Внешний редирект клиента со старых динамических URL на новые статические
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\
/index\.php\?product=([^&]+)&color=([^&]+)&size=([^&]+)&texture=([^&]+)&maker=([^\ ]+)\ HTTP/
RewriteRule ^index\.php$ //example.com/product/%1/%2/%3/%4/%5? [R=301,L]

Заметьте, что слово «product» всегда присутствует и в статическом, и в динамическом формате. В этом случае модулю mod_rewrite проще определить запросы, где необходимо применять приведенные выше правила. Другие методы, такие как проверка на существование файла, также можно использовать, но они менее эффективны и более подвержены ошибкам сравнения.

Различия между использованием .htaccess и httpd.conf

Если вы будете использовать правила mod_rewrite в контейнере <directory> конфигурационного файла httpd.conf, то вам потребуется добавить в регулярные выражения обеих директив RewriteRule слеш (/). Например, придеться изменить «RewriteRule ^index\.php$» на «RewriteRule ^/index\.php$». Также запомните, что вам надо перезапустить сервер, чтобы внесенные изменения в файле конфигурации начали действовать.

Как это работает

• Посетитель использует браузер для просмотра одной из ваших страниц
• Посетитель кликает по ссылке <a rel=»nofollow» href=»/product/gizmo/red/tiny/furry/gizmocorp»>Tiny red furry gizmos by GizmoCorp!</a>
• С вашего сервера браузер запрашивает виртуальный файл //example.com/product/gizmo/red/tiny/furry/gizmocorp
• Вызывается mod_rewrite и первое правило переформировывает запрос в /index\.php?product=gizmo&color=red&size=tiny&texture=furry&maker=gizmocorp, вызывая скрипт
• Ваш скрипт генерирует запрошенную страницу, и сервер отсылает ее обратно браузеру клиента
• Посетитель кликает на другую ссылку и процесс повторяется

Теперь давайте посмотрим, как паук поисковика посетит ваш сайт, используя старый динамический URL:

• Паук запрашивает с вашего сервера: //example.com/index\.php?product=wodget&color=green&size=large&texture=smooth&maker=wodgetsinc
• Вызывается mod_rewrite и второе правило генерирует 301 редирект, информирующий паука, что запрошенная страница была перенесена на URL: //example.com/product/wodget/green/large/smooth/wodgetsinc
• Паук отправляет запрос в свою базу адресов, чтобы изменить в ней старый динамический URL на новый, полученный из редиректа.
• Паук вновь запрашивает страницу, которую он искал, но на этот раз, используя новый статический URL: //example.com/product/wodget/green/large/smooth/wodgetsinc
• Вызывается mod_rewrite и первое правило переформировывает запрос в /index\.php?product=wodget&color=green&size=large&texture=smooth&maker=wodgetsinc, вызывая скрипт
• Ваш скрипт сгенерирует запрошенную страницу, и сервер вернет ее обратно поисковому пауку для последующего парсинга и построения поискового индекса
• Теперь паук будет обрабатывать страницы, содержащие новые статические ссылки и все запросы на старые динамические URL будут перенаправлены на новые статические URL, а новые URL в результатах поиска со временем заменят старые.

Размещение правил mod_rewrite

Чтобы приведенный код работал надлежащим образом, он должен быть размещен в файле .htaccess в том же каталоге, где и /index.php. Также он может быть помещен в контейнер <directory> в файле httpd.conf, который ссылается на этот каталог.

Регулярные выражения

Тут я приведу только одно замечание по поводу регулярных выражений, использованных выше. Я избегаю использования очень простых и популярных, но очень неэффективных конструкций «(.*)/(.*)«. Ибо использование множества конструкций «.*» в регулярных выражениях очень неэффективно.
Причины этому две. Первое — «.*» означает «подставить любое число любых символов». И второе — конструкция «.*» очень «прожорливая», что означает, что в шаблон подставится максимально возможное количество символов. А это в свою очередь означает, что, перед тем как запрошенный URL совпадет или не совпадет с регулярным выражением, произойдет множество подстановок, количество которых равно (количеству символов между «/» и концом запрашиваемого URL минус 2) умноженное на (количество «(.*)» минус один). Легко сделать регулярное выражение со множеством «(.*)», разбор которого потребует десятки или даже сотни проходов.
Давайте взглянем на короткий пример. Обратная связь $1 содержит символы, подставляемые в первую «(.*)«, а $2 — символы, подставляемые во вторую:
Запрошенный URL: //example.com/abc/def
Локальный путь: abc/def
Шаблон правила: ^(.*)/(.*)$

Я осмелюсь предположить, что множество сайтов проводят каждый год обновление серверов, но эту ошибку оставляют.

Вместо этой конструкции я использую «([^/]+)", "([^&]+)" и "([^\ ]+)«. В грубом переводе они соответственно означают «подставить один или несколько символов не равных слешу», «подставить один или несколько символов не равных &» и «подставить один или несколько символов не равных пробелу». Разница заключается в том, что каждая из этих конструкций будет «потреблять» один или более символов из запрошенного URL, увеличивая количество на один, тем самым, позволяя парсеру регулярных выражений проверить запрошенный URL за один проход слева-направо.

Частые проблемы

Самой частой проблемой, встречающейся при реализации преобразований URL из динамических в статические — это когда «бъются» относительные ссылки внутри вашей страницы (на изображения, на CSS файлы или внешние JavaScript).

Проблема в том, что браузер сам обрабатывает относительные ссылки. Например, если вы обрабатываете URL product/widget/blue/fuzzy/widgetco, то браузер увидит страницу «widgetco» и будет обрабатывать относительные ссылки этой страницы относительно «виртуального» каталога /product/widget/blue/fuzzy/.

Есть два простых решения этой проблемы. Первое — это использовать серверо-относительные ссылки (или абсолютные ссылки), или использовать дополнительные mod_rewrite правила для преобразования URL картинок, CSS файлов и т. п. Вот пример использования серверно-относительной ссылки <img src="/logo.gif">, которая заменяет странично-относительную ссылку <img src="logo.gif">.

Проблемы при тестировании

Как для .htaccess, так и для httpd.conf перед тестированием любых изменений не забывайте очищать кэш браузера. Иначе ваш браузер обработает одну из ранее запрошенных страниц из кэша. Понятно, что в этом случае, новый код не выполнится.

Оригинал на английском о том как преобразовать динамические ссылки в дружелюбные для поисковых систем: Changing dynamic to static URLs.