Карта сайта и Яндекс - правила быстрой индексации

Официальная позиция Яндекса общеизвестна - карта сайта нужна для полной индексации сайта. Вот только Яндекс молчит: всегда ли робот реально использует карту сайта для того, чтобы определить наличие новых страниц? Результаты проведенного эксперимента очень интересны - оказывается есть категория сайтов, где карта сайта вовсе и не нужна.

Блоги

Самая распространенная категория сайтов, где нет необходимости в создании карты сайта - это формат сайта в виде блога (как сайт vse-o-seo.ru). Если записи появляются с автоматической генерацией ссылок на главной странице сайта (уровень вложенности новой страницы равен 2), то яндекс без проблем индексирует такие страницы при первом же обходе. Переиндексация страниц с уровнем вложенности 2 происходит гораздо реже и новые ссылки с этих страниц появляются спустя 2-3 апдейта при условии, что ваш сайт регулярно наполняется контентом и контент страниц 2 уровня вложенности регулярно обновляется.

Страница карта сайта и карта сайта sitemap.xml - не одно и тоже

А как быть, если у вас не блог, а сайт с каталогом продукции, где большая часть страниц находится в 3 и более кликах от главной. В таких случаях вам для быстрой индексации сайта (быстрая индексация по яндексу в первый ап и индексация быстророботом не одно и тоже) действительно нужен специальный файл sitemap (формата xml или txt).

Стандартная страница сайта с названием "Карта сайта" и перечнем ссылок на ней является страницей с 2 уровнем вложенности и предназначена скорее для быстрого поиска пользователями, чем поисковым роботом, т.е. ссылки с неё на новые страницы будут проиндексированы не ранее 2-3 апдейтов, т.е. 1,5-2 недель, а сама новая страница может попасть в индекс ещё позднее.

Что делать для быстрой индексации новых страниц каталога?

Самое верное решение для страниц с уровнем вложенности 3+ - это размещение новостей-анонсов на главной с включением в них ссылок на страницы каталога. Карта сайта, как правило, не представляет ценности как контент и поэтому может быть исключена из поиска, а вот страница с анонсом или новостью всегда приветствуется Яндексом (впрочем и другими поисковыми системами).