Пару дней назад представитель Google Гэри Илльес (Gary Illyes) еще раз напомнил вебмастерам о том, что наличие файла Sitemap не гарантирует попадания в индекс поисковой системы абсолютно всех URL-ов, указанных в нём.
В частности это был ответ на вопрос одного из вебмастеров, который спросил, почему Гугл не индексирует его сайт целиком, хотя в файле sitemap находятся 40 тыс. страницы, в индексе Гугла всего 100.
Гэри Илльес ответил, что наличие файла Sitemap не подразумевает того, что абсолютно все указанные в нём адреса страниц попадут в индекс Гугла. Сайтмап скорее дополнительный инструмент для роботов ПС по ускоренному индексированию страниц. То есть без сайтмапа страницы индексируются ещё медленее.
Также боты Гугла могут игнорировать некторые страницы указанные в сайтмапе если те являются не уникальными, с малоинтересным содержанием или вовсе без оного.