Sitemap в Blogger

О том, что такое sitemap, знают уже даже начинающие блоггеры - это специальный конфиг со списком ссылок для поисковых систем, который в ряде случаев может ускорить или исправить индексирование сайта, и пустить поискового робота по "нужному следу".

Указание sitemap - не норма, а рекомендация. Но всё же ей лучше последовать, особенно в Blogger, где эта функция доступна "из коробки".

К ознакомлению:

Sitemap для Google

В Blogger есть несколько типов sitemap. Указывать sitemap нужно в Центре веб-мастеров Google и в robots.txt. Затем отслеживать, сколько Google считал ссылок, и сколько их попало в индекс, т.е. проиндексировалось. В robots.txt указывают sitemap для тех поисковых систем, которые умеют читать директиву sitemap.
Рассмотрим каждый способ по порядку.

Atom-ленты в качестве sitemap

Подходят для любых типов доменов. Прекрасно читаются Google, так как это его собственная разработка, хотя предназначалась первоначально как лента для подписки. Функционально atom-лента является "стержнем" Blogger (см. Спецификацию).

1) Подходят для любых типов доменов (платных и бесплатных):
feeds/posts/default
или
atom.xml
Обе ленты отличаются друг от друга только тем, что вторая представлена xml-файлом.

Atom-ленты в Центре веб-мастеров (далее по тексту - WMT):

Классический sitemap для Google

В последней ленте применяются необязательные параметры start-index и max-rezults. Если сработает ограничение для atom-ленты в 500 постов (официальное ограничение для atom в Blogger), то можно указать начало отсчёта постов и ограничить ленту их определённым количеством. По умолчанию выставлен желаемый максимум. Интересно, что ленту atom.xml Blogger одно время автоматически добавлял в WMT.

2) Ленты с сортировкой:
feeds/posts/default?orderby=updated
или
atom.xml?orderby=updated
Аналогичные предыдущим ленты с параметром сортировки постов в них согласно последнему обновлению.
Такой параметр больше всего подходит для блогов с часто обновляемыми страницами. По умолчанию записан в robots.txt.

3) sitemap.xml
Уже доступен и для платных доменов. Теперь записан в Robots.txt по умолчанию.
Поддерживает многостраничные версии формата /?page=1.
Пример:
domain.blogspot.com/sitemap.xml?page=5

В WMT:

Sitemap для Яндекса

Что касается Яндекса, то в нём нет такой свободы по указанию sitemap.
Насколько мне известно, Яндекс Вебмастер по-прежнему не читает atom-ленты, так что выбор особо не велик.
Полезный инструмент - Валидатор sitemap Яндекса.

Всё, что можно сделать - указать sitemap.xml. Если не изменяли robots.txt, то Яндекс считает sitemap автоматически.

Sitemap в robots.txt

По умолчанию присутствует в блоге в готовом виде:

Устарело:

И относится к User-agent: *, то есть к любому поисковому роботу. Фактически из robots.txt можно скопировать ссылку на sitemap и указать её в ЦВМ (blogspot.ru изменить на blogspot.com).
Минусом такого robots.txt будет то, что Яндекс автоматически захватит текущую atom-ленту в качестве sitemap, но не сможет её считать.

Но можно расписать с директивами для каждого поискового робота.

Например:

User-agent: Yandex
Disallow: /search
Disallow: /*archive.html
Sitemap: http://domain.com/sitemap.xml

User-agent: Googlebot
Disallow: /search
Disallow: /*archive.html
Sitemap: http://domain.blogspot.com/feeds/posts/default?orderby=UPDATED


User-agent: msnbot 
Sitemap: http://domain.com/feeds/posts/default?orderby=UPDATED

User-agent: Mail.Ru
Disallow: /search
Disallow: /*archive.html
Sitemap: http://domain.com/atom.xml

Пинг записей

Инструменты, при помощи которых можно немедленно сообщить поисковым системам об обновлениях в блоге.

Ping sitemap для Google

В браузерной строке запрос:
http://google.com/webmasters/sitemaps/ping?sitemap=http://ваш_домен/feeds/posts/default?orderby=UPDATED

Ping Яндекс блоги

Монитор пингов от Яндекс

Яндекс Add Url

Сообщить о новом сайте
Добавить Url в Яндекс

Полезные ссылки: