О том, что такое sitemap, знают уже даже начинающие блоггеры - это специальный конфиг со списком ссылок для поисковых систем, который в ряде случаев может ускорить или исправить индексирование сайта, и пустить поискового робота по "нужному следу".
Указание sitemap - не норма, а рекомендация. Но всё же ей лучше последовать, особенно в Blogger, где эта функция доступна "из коробки".
К ознакомлению:
Sitemap для Google
В Blogger есть несколько типов sitemap. Указывать sitemap нужно в
Центре веб-мастеров Google и в
robots.txt. Затем отслеживать, сколько Google считал ссылок, и сколько их попало в индекс, т.е. проиндексировалось. В robots.txt указывают sitemap для тех поисковых систем, которые умеют читать директиву
sitemap.
Рассмотрим каждый способ по порядку.
Atom-ленты в качестве sitemap
Подходят для любых типов доменов. Прекрасно читаются Google, так как это его собственная разработка, хотя предназначалась первоначально как лента для подписки. Функционально atom-лента является "стержнем" Blogger (см.
Спецификацию).
1) Подходят для любых типов доменов (платных и бесплатных):
feeds/posts/default
или
atom.xml
Обе ленты отличаются друг от друга только тем, что вторая представлена xml-файлом.
Atom-ленты в Центре веб-мастеров (далее по тексту - WMT):
 |
| Классический sitemap для Google |
В последней ленте применяются необязательные параметры start-index и max-rezults. Если сработает ограничение для atom-ленты в 500 постов (официальное ограничение для atom в Blogger), то можно указать начало отсчёта постов и ограничить ленту их определённым количеством. По умолчанию выставлен желаемый максимум. Интересно, что ленту atom.xml Blogger одно время автоматически добавлял в WMT.
2) Ленты с сортировкой:
feeds/posts/default?orderby=updated
или
atom.xml?orderby=updated
Аналогичные предыдущим ленты с параметром сортировки постов в них согласно последнему обновлению.
Такой параметр больше всего подходит для блогов с часто обновляемыми страницами. По умолчанию записан в robots.txt.
3)
sitemap.xml
Уже доступен и для платных доменов. Теперь записан в Robots.txt по умолчанию.
Поддерживает многостраничные версии формата /?page=1.
Пример:
domain.blogspot.com/sitemap.xml?page=5
В WMT:
Sitemap для Яндекса
Что касается Яндекса, то в нём нет такой свободы по указанию sitemap.
Насколько мне известно,
Яндекс Вебмастер по-прежнему не читает atom-ленты, так что выбор особо не велик.
Полезный инструмент -
Валидатор sitemap Яндекса.
Всё, что можно сделать - указать sitemap.xml. Если не изменяли robots.txt, то Яндекс считает sitemap автоматически.
Sitemap в robots.txt
По умолчанию присутствует в блоге в готовом виде:
Устарело:
И относится к User-agent: *, то есть к любому поисковому роботу. Фактически из robots.txt можно скопировать ссылку на sitemap и указать её в ЦВМ (blogspot.ru изменить на blogspot.com).
Минусом такого robots.txt будет то, что Яндекс автоматически захватит текущую atom-ленту в качестве sitemap, но не сможет её считать.
Но можно расписать с директивами для каждого поискового робота.
Например:
User-agent: Yandex
Disallow: /search
Disallow: /*archive.html
Sitemap: http://domain.com/sitemap.xml
User-agent: Googlebot
Disallow: /search
Disallow: /*archive.html
Sitemap: http://domain.blogspot.com/feeds/posts/default?orderby=UPDATED
User-agent: msnbot
Sitemap: http://domain.com/feeds/posts/default?orderby=UPDATED
User-agent: Mail.Ru
Disallow: /search
Disallow: /*archive.html
Sitemap: http://domain.com/atom.xml
Пинг записей
Инструменты, при помощи которых можно немедленно сообщить поисковым системам об обновлениях в блоге.
Ping sitemap для Google
В браузерной строке запрос:
http://google.com/webmasters/sitemaps/ping?sitemap=http://ваш_домен/feeds/posts/default?orderby=UPDATED
Ping Яндекс блоги
Монитор пингов от Яндекс
Яндекс Add Url
Сообщить о новом сайте
Добавить Url в Яндекс
Полезные ссылки:
