Как происходит индексация
Сначала поисковый робот должен обнаружить URL и получить к нему доступ. Затем поисковая система обрабатывает страницу и анализирует ее содержимое и технические сигналы. После этого URL может быть добавлен в индекс.
При этом поисковые системы не обязаны индексировать каждую доступную страницу. На результат могут влиять noindex, canonical, доступность URL для робота и другие технические или контентные особенности страницы.
Что это значит на практике
Если страница не индексируется, сначала проверяют HTTP-код, robots.txt, noindex, canonical, внутренние ссылки и наличие URL в Sitemap.xml. Затем стоит проверить сам контент и убедиться, что страница действительно содержит самостоятельную ценность, а не дублирует уже существующий материал.
Для кого критично
Критично для любого сайта, который рассчитывает на органический трафик. Особенно внимательно за индексацией нужно следить на крупных проектах и сайтах с большим количеством похожих страниц.