79997296

Однако это не всегда так. Многие страницы никогда не индексируются Google. Если вы работаете с веб-сайтом, особенно крупным, вы, вероятно, заметили, что не каждая страница на вашем сайте индексируется, и многие страницы неделями ждут, прежде чем Google их подберет.

Различные факторы способствуют этой проблеме, и многие из них являются теми же факторами, которые упоминаются в отношении ранжирования — качество контента и ссылки являются двумя примерами. Иногда эти факторы также являются очень сложными и техническими. Современные веб-сайты, которые в значительной степени полагаются на новые веб-технологии, как известно, в прошлом страдали от проблем с индексацией, а некоторые до сих пор страдают.

Многие оптимизаторы по-прежнему считают, что именно технические вещи мешают Google индексировать контент, но это миф. Хотя это правда, что Google может не индексировать ваши страницы, если вы не будете посылать последовательные технические сигналы о том, какие страницы вы хотите проиндексировать, или если у вас недостаточно средств для обхода, не менее важно, чтобы вы соответствовали качеству вашего контента.

На большинстве веб — сайтов, больших или маленьких, есть много контента, который следует проиндексировать, но это не так. И хотя такие вещи, как JavaScript, действительно усложняют индексацию, ваш сайт может страдать от серьезных проблем с индексацией, даже если он написан на чистом HTML. В этом посте давайте рассмотрим некоторые из наиболее распространенных проблем и способы их устранения.

Причины, по которым Google не индексирует ваши страницы

Используя специальный инструмент проверки индексации, я проверил большую выборку самых популярных магазинов электронной коммерции в США на предмет проблем с индексацией. Я обнаружил, что в среднем 15% их индексируемых страниц продуктов невозможно найти в Google. Этот результат был чрезвычайно удивительным. Что мне нужно было знать дальше, так это “почему”: каковы наиболее распространенные причины, по которым Google решает не индексировать то, что технически должно быть проиндексировано?

Поисковая консоль Google сообщает несколько статусов для неиндексированных страниц, таких как “Просмотрен - в настоящее время не проиндексирован” или “Обнаружен - в настоящее время не проиндексирован”. Хотя эта информация явно не помогает решить проблему, это хорошее место для начала диагностики.

Основные проблемы с индексированием

Основываясь на большой выборке веб-сайтов, которые я собрал, наиболее популярными проблемами индексации, о которых сообщает Google Search Console, являются:

1. “Обход - в настоящее время не проиндексирован”

В этом случае Google посетил страницу, но не проиндексировал ее. Исходя из моего опыта, обычно это проблема качества контента. Учитывая бум электронной коммерции, который в настоящее время происходит, мы можем ожидать, что Google станет более разборчивым, когда дело дойдет до качества. Поэтому, если вы заметили, что ваши страницы “Просматриваются - в настоящее время не индексируются”, убедитесь, что содержимое этих страниц уникально ценно:

  • Используйте уникальные заголовки, описания и копии на всех индексируемых страницах.
  • Избегайте копирования описаний продуктов из внешних источников.
  • Используйте канонические теги для консолидации дублированного контента.
  • Заблокируйте Google от обхода или индексирования некачественных разделов вашего веб-сайта с помощью robots.txt файл или тег noindex.

2. “Обнаружено - в настоящее время не проиндексировано”

Это моя любимая проблема для работы, потому что она может охватывать все-от проблем с обходом до недостаточного качества контента. Это огромная проблема, особенно в случае крупных магазинов электронной коммерции, и я видел, что это относится к десяткам миллионов URL-адресов на одном веб-сайте.Google может сообщить, что страницы продуктов электронной коммерции “Обнаружены-в настоящее время не проиндексированы” из-за:

  • Проблема с бюджетом обхода: в очереди обхода может быть слишком много URL-адресов, и они могут быть просмотрены и проиндексированы позже.
  • Проблема с качеством: Google может подумать, что некоторые страницы в этом домене не стоят того, чтобы их сканировать, и решит не посещать их, ища шаблон в их URL-адресе.

Для решения этой проблемы требуется определенный опыт. Если вы обнаружите, что ваши страницы “Обнаружены - в настоящее время не проиндексированы”, выполните следующие действия:

1. Определите, есть ли шаблоны страниц, попадающих в эту категорию. Может быть, проблема связана с определенной категорией продуктов, а вся категория не связана внутренне? Или, может быть, огромная часть страниц продуктов стоит в очереди на индексацию?

2. Оптимизируйте свой бюджет обхода. Сосредоточьтесь на выявлении некачественных страниц, на просмотр которых Google тратит много времени. Обычные подозреваемые включают отфильтрованные страницы категорий и страницы внутреннего поиска — эти страницы могут легко достигать десятков миллионов на типичном сайте электронной коммерции. Если Googlebot может свободно сканировать их, у него может не быть ресурсов для доступа к ценным материалам на вашем веб-сайте, проиндексированном в Google.

Во время вебинара "Рендеринг SEO"Мартин Сплитт из Google дал нам несколько советов по устранению обнаруженной неиндексированной проблемы. Проверьте это, если хотите узнать больше.

3. “Дублированный контент”

Этот вопрос широко освещается Учебным центром SEO Moz. Я просто хочу отметить здесь, что дублирование контента может быть вызвано различными причинами, такими как:

  • Языковые вариации (например, английский язык в Великобритании, США или Канаде). Если у вас есть несколько версий одной и той же страницы, предназначенных для разных стран, некоторые из этих страниц могут оказаться неиндексированными.
  • Дублируйте контент, используемый вашими конкурентами. Это часто происходит в индустрии электронной коммерции, когда несколько веб-сайтов используют одно и то же описание продукта, предоставленное производителем.

Помимо использования rel=canonical, 301 перенаправления или создания уникального контента, я бы сосредоточился на предоставлении уникальной ценности для пользователей. Fast-growing-trees.com было бы примером. Вместо скучных описаний и советов по посадке и поливу, веб-сайт позволяет вам ознакомиться с подробными часто задаваемыми вопросами по многим продуктам.

Как проверить охват индекса вашего сайта

Вы можете легко проверить, сколько страниц вашего сайта не проиндексировано, открыв отчет об охвате индексом в поисковой консоли Google.Первое, на что вам следует обратить внимание здесь, - это количество исключенных страниц. Затем попробуйте найти закономерность — какие типы страниц не индексируются?

Если у вас есть магазин электронной коммерции, вы, скорее всего, увидите неиндексированные страницы товаров. Хотя это всегда должно быть предупреждающим знаком, вы не можете ожидать, что все страницы вашего продукта будут проиндексированы, особенно на большом веб-сайте. Например, в крупном магазине электронной коммерции обязательно будут дубликаты страниц и товары с истекшим сроком годности или отсутствующие в наличии. Этим страницам может не хватать качества, которое поставило бы их в первую очередь в очередь на индексацию Google (и это в том случае, если Google решит в первую очередь сканировать эти страницы).

Кроме того, крупные сайты электронной коммерции, как правило, имеют проблемы с бюджетом обхода. Я видел случаи, когда в магазинах электронной коммерции было более миллиона товаров, в то время как 90% из них были классифицированы как “Обнаруженные-в настоящее время не индексируются”. Но если вы видите, что важные страницы исключаются из индекса Google, вы должны быть глубоко обеспокоены.

Как увеличить вероятность того, что Google проиндексирует ваши страницы

Каждый веб-сайт отличается и может страдать от различных проблем с индексацией. Тем не менее, вот некоторые из лучших практик, которые должны помочь проиндексировать ваши страницы:

1. Избегайте сигналов “Soft 404”.

Убедитесь, что ваши страницы не содержат ничего, что может ложно указывать на статус soft 404. Это включает в себя все, что угодно, от использования “Не найдено” или “Недоступно” в копии до указания номера “404” в URL-адресе.

2. Используйте внутреннюю ссылку

Внутренняя ссылка является одним из ключевых сигналов для Google о том, что данная страница является важной частью веб-сайта и заслуживает индексации. Не оставляйте сиротских страниц в структуре вашего сайта и не забудьте включить все индексируемые страницы в свои карты сайтов.

3. Реализуйте продуманную стратегию обхода

Не позволяйте Google сканировать ваш сайт. Если слишком много ресурсов тратится на обход менее ценных частей вашего домена, Google может потребоваться слишком много времени, чтобы добраться до хороших материалов. Анализ журнала сервера может дать вам полное представление о том, что обходит Googlebot и как это оптимизировать.

4. Устраните некачественный и дублирующий контент

На каждом крупном веб-сайте в конечном итоге появляются страницы, которые не следует индексировать. Убедитесь, что эти страницы не попадают в ваши карты сайтов, и используйте тег noindex и robots.txt файл, когда это необходимо. Если вы позволите Google проводить слишком много времени в худших частях вашего сайта, это может привести к недооценке общего качества вашего домена.

5. Отправляйте последовательные SEO-сигналы.

Одним из распространенных примеров отправки противоречивых SEO - сигналов в Google является изменение канонических тегов с помощью JavaScript. Как отметил Мартин Сплитт из Google во время работы в офисе JavaScript SEO, вы никогда не можете быть уверены, что Google будет делать, если у вас есть один канонический тег в исходном HTML и другой после рендеринга JavaScript.

Сеть становится слишком большой

За последние пару лет Google сделал гигантские скачки в обработке JavaScript, что облегчило работу оптимизаторов. В наши дни реже можно увидеть веб-сайты на JavaScript, которые не индексируются из-за конкретного технологического стека, который они используют. Но можем ли мы ожидать, что то же самое произойдет с проблемами индексирования, которые не связаны с JavaScript? Я так не думаю. Интернет постоянно развивается. Каждый день появляются новые веб-сайты, а существующие веб-сайты растут.

Может ли Google справиться с этой проблемой? Этот вопрос возникает время от времени. Мне нравится цитировать Google здесь: “У Google ограниченное количество ресурсов, поэтому, столкнувшись с почти бесконечным количеством контента, доступного в Интернете, Googlebot может найти и просмотреть только процент этого контента. Затем из содержимого, которое мы проверили, мы можем проиндексировать только часть”.

Иными словами, Google может посещать только часть всех страниц в Интернете и индексировать еще меньшую часть. И даже если ваш сайт потрясающий, вы должны иметь это в виду. Google, вероятно, не будет посещать каждую страницу вашего сайта, даже если она относительно невелика. Ваша задача-убедиться, что Google может находить и индексировать страницы, которые необходимы для вашего бизнеса.

"Вся Информация Размещенная В Блоге "Septem Plus" Несет Ознакомительно-Информационный Характер И Не Принуждает К Каким Либо Действиям Пользователей Блога. Блог "Septem Plus" Не Несет Ответственности За Действия Пользователей После Посещения Блога "Septem Plus"."

Так же прочитайте наши другие статьи: 5 Простых Советов По SEO И Маховики!, а так же 5 Лучших Практик Для Поисковых Кампаний! и 9 Инструментов Оценки Посещаемости Сайта!

Связь с Блогом: [email protected]

    <