Sitemap.xml — это так называемая карта сайта, файл, который содержит в себе ссылки на все важные страницы ресурса. Ближайший его аналог — книжное оглавление: карта позволяет легко ориентироваться по структуре. Сайтмап в несколько раз увеличивает скорость индексации страниц поисковыми системами. Поэтому карта в XML или одном из других форматов — обязательное условие успешного поискового продвижения. В SEO генерация sitemap.xml — одно из базовых действий в самом начале работ.
Для чего используется карта сайта
Работа поисковиков. Чтобы понять, зачем нужен сайтмап, надо знать, как работают поисковые роботы. Они обходят интернет-ресурсы, анализируют информацию на них и заносят в базу, чтобы впоследствии поисковик мог легко выдать ответ на любой запрос, сверившись с этой базой. Это называется индексация. Если содержимое сайта меняется или появляется новая страница, поисковая система узнаёт об этом не сразу, а только после того, как робот обойдёт ресурс заново.
Как помогает sitemap. Робот обходит сайт последовательно, начиная с главной страницы, переходя от одного уровня вложенности к другому. Чем глубже в структуре сайта находится страница, тем больше времени займёт её индексация. А если вложенность большая, есть вероятность, что поисковая программа не доберётся до странички месяцами. Чтобы сориентировать робота, создаётся карта сайта XML: она содержит информацию обо всех важных страницах и не заставляет его тратить лишнее время. В результате программа быстрее индексирует все страницы, не расходуя ресурсы на переходы вглубь сайта. Впрочем, карты тоже бывают разные: некоторые рассчитаны скорее на людей, другие — на программы поисковиков.
Виды карт сайта
Чтобы не допустить путаницы, нужно сразу отделить одно от другого. Файл, служащий «оглавлением» для пользователей, и файл, который использует робот для индексации, — это разные карты. Они различаются форматом, структурой, особенностями размещения, и оптимальный вариант — иметь на своём сайте обе.
HTML. HTML-сайтмап — это обычно ещё одна страница, которая, по сути, представляет собой содержание остальных. Её видно пользователям: обычно ссылка на карту находится на главной странице или в основном разделе. На страничке список URL на все основные разделы и подразделы, структура обычно древовидная, чтобы человеку было легче ориентироваться.
- Для этого вида карты существуют ограничения по количеству ссылок. Большое количество URL, пусть даже внутренних, понижает страничку, а вместе с ней и весь сайт в поисковой выдаче. Поэтому не рекомендуется указывать в карте более ста линков. Если сайт большой, HTML-сайтмапов может быть несколько. Некоторые используют для лучшего отображения карты JavaScript-код или стили CSS.
- Цель HTML-страницы — помочь пользователям, поисковые роботы её практически никак не воспринимают. Поэтому её делают в первую очередь наглядной и понятной человеку.
XML. В отличие от предыдущего этот вид используется поисковыми роботами. Карта sitemap.xml — это файл с соответствующим расширением, который располагается в корне сайта. Он составляется по определённому шаблону и содержит в себе до 50 000 ссылок, ведущих на разные страницы ресурса.
- В содержимое файла входят не только сами URL, но и их приоритет и желаемая частота переиндексации. Конечно, этот показатель довольно условный: если указать нереалистичные сроки, робот не будет их соблюдать. Но помочь более часто индексировать релевантные страницы и подолгу игнорировать те, что обновляются редко, может.
- Название sitemap.xml и формат отображения информации стандартные, их распознают все популярные поисковые системы. Синтаксис содержимого строится по определённым правилам: стандартизация — обязательное условие для файла, с которым работают машины.
TXT. Этот тип встречается нечасто, в основном на небольших сайтах. Это карта, созданная не в формате XML, а в текстовом формате TXT, то есть в виде обычного текстового документа. Сложной структуры и собственного синтаксиса у такого сайтмапа нет, он не даёт возможности указать приоритет страницы и частоту обхода. Sitemap.txt — это просто построчный список URL всех страничек ресурса без какой-либо дополнительной информации. Он также может включать до 50 000 ссылок. Его называют картой сайта для ленивых. В большинстве случаев использование такого простого решения не оправдано, лучше использовать предыдущий вариант: у него намного шире возможности.
Что входит в sitemap.xml
Синтаксис карты сайта подразумевает использование XML-синтаксиса: содержимое должно быть описано с его помощью. Принцип написания такой же, как при вёрстке HTML: < имя тега>содержимое< /имя тега>. Используемая кодировка — непременно UTF-8, в первой строчке сайтмапа находится указание на это.
Дальше следуют обязательные и необязательные элементы синтаксиса, каждый из которых отвечает за отдельный параметр.
Обязательные. Теги, которые должны быть в каждой карте сайта sitemap.xml, включают в себя:
< urlset>. Это основной, так называемый родительский тег. Всё остальное содержимое файла обрамлено им. Внутри содержится строчка, указывающая, что используется пространство имён XML;
- < url>. Один из главных тегов. В него заключают сведения об одной конкретной ссылке, включающие в себя сам линк и информацию о нём. Приоритет, частота обновления — всё, что относится к одной конкретной странице, обрамляется отдельным < url>< /url>;
- < loc>. Внутри этого тега содержится сама ссылка на страницу и больше ничего.
Необязательные. В sitemap.xml может находиться больше информации, чем просто список линков. Использовать эту возможность необязательно, но желательно: она помогает проставить приоритеты индексации и оптимизировать обход страниц поисковыми роботами. Для необязательных сведений имеются собственные теги:
- < lastmod>. В него обрамляется дата последнего изменения странички, что позволяет поисковику сориентироваться, нужно ли обходить её заново;
- < changefreq>. Внутри тега находятся сведения о том, как часто обновляется страница. Возможные значения: always, hourly, daily, weekly, monthly, yearly, never, то есть постоянно, ежечасно, ежедневно, еженедельно, раз в месяц, раз в год, никогда;
- < priority>. Указывает на приоритет странички. Внутри содержится число от 0,1 до 1, где 0,1 — очень низкий приоритет, 1 — максимально высокий. Он подсчитывается относительно других страниц, так что выставлять везде одинаковое значение не имеет смысла.
Все эти теги, как и обязательный < loc>, находятся внутри блока < url>.
Как формируется sitemap.xml больших сайтов
Одна карта сайта способна вместить в себя до 50 000 адресов, но у крупных ресурсов страниц может быть намного больше. В таком случае формируется несколько сайтмапов. Основная карта, так называемый файл индекса, содержит только ссылки на остальные: sitemap1, sitemap2 и так далее. Уже в этих файлах находятся линки на страницы и информация о них. Вместо < url> в этом случае используется тег < sitemap>, внутрь которого заключаются теги < loc> со ссылками на дочерние карты. Такой же принцип применяют, если вес sitemap.xml превышает 10 Мб.
Способы создания карт сайта
Разобравшись, что это такое и как описывается, можно перейти к созданию sitemap. Описывать, как создавать HTML и TXT-карту, смысла нет: в первом случае составление аналогично обычной вёрстке страницы, во втором достаточно выгрузить список URL и сохранить в текстовый файл. Подробно стоит остановиться только на файле карты XML. Составить его можно несколькими способами.
Вручную. Вариант подходит для небольших самописных ресурсов. Для любого более-менее крупного сервиса составлять сайтмап вручную — долгий и неблагодарный труд.
Через CMS. Большинство популярных административных панелей имеет встроенные средства создания sitemap или генерирует её автоматически. Конкретный алгоритм действий зависит от используемой CMS и может сильно отличаться.
С помощью сторонних сервисов. Если в админпанели функции генерации карты нет, можно воспользоваться одной из многочисленных программ. Существуют как онлайн-генераторы, так и программные продукты для скачивания или плагины для CMS. Некоторые сервисы платные или имеют ограничения: например, не могут создавать sitemap, включающий более 500 URL. В них можно настраивать параметры и приоритеты для разных страниц.
Что делать после создания карты
Процесс генерации sitemap обычно несложен и занимает мало времени. Главное — правильно указать приоритеты страниц и частоту их обновления. От этих параметров зависит частота индексации. Но с созданием карты работа не заканчивается:
- sitemap.xml находится в корне сайта, и поисковые системы обычно находят файл самостоятельно. Но, чтобы ускорить этот процесс, рекомендуется размещать ссылку на карту в вебмастерских панелях Яндекса и Google;
- альтернативное решение — разместить ссылку на sitemap в файле robots.txt, который сообщает поисковым роботам, какие части сайта индексировать, а какие нет. Это делается в одну строчку с помощью отдельной директивы.
После размещения ссылки в файле robots.txt карта сайта должна автоматически появиться в вебмастерской панели. Если этого не произошло, придётся добавить её вручную.
О чём стоит помнить
Создание карты сайта — процесс несложный, но ответственный. Правильно указанные интервалы, отсутствие лишних URL (ссылок на технические файлы, неканонических или неиндексируемых линков), выставленные приоритеты — всё это помогает продвижению и грамотной индексации в поисковиках. Ошибки же, наоборот, способны ухудшить позиции в выдаче. Будьте внимательны и ответственно подходите к тому, какие ссылки размещать в карте сайта.