Как проверить индексацию страницы в яндексе, google, bing, mail.ru?
Содержание:
- Способы проверки индексации сайта
- Лучшие сервисы проверки индексации сайта
- Зачем сайт закрывают для индекса?
- Почему проект не индексируется
- Что необходимо сделать для начала индексации нового сайта
- Различия индексации сайта в Google и «Яндексе»
- На что влияет индексация при продвижении
- Часто задаваемые вопросы наших пользователей
- Пошаговый алгоритм работы с сервисом:
- Рекомендации по индексации сайта (проверка, анализ)
- В Яндексе и Google разное количество проиндексированных страниц: что делать?
- Проверьте индексацию сайта в консоли вебмастеров
Способы проверки индексации сайта
Предлагаем вашему вниманию 4 самых распространенных и простых способа, позволяющие проверить, какие страницы есть в индексе, а какие – нет.
1. Через панель вебмастера
Этим методом владельцы веб-ресурсов проверяют их наличие в поиске чаще всего.
Яндекс
- Авторизуйтесь в Яндекс.Вебмастер.
- Перейдите в меню «Индексирование сайта».
- Под ним найдите строку «Страницы в поиске».
Можно пойти и по другому пути:
- Выберите «Индексирование сайта».
- Дальше перейдите в «История».
- Затем кликните на вкладку «Страницы в поиске».
И первым, и вторым способом вы сможете изучить динамику роста или спада числа страниц в поисковой системе.
- Зайдите в панель управления сервиса .
- Кликните на вкладку Search Console.
- Перейдите в «Индекс Google».
- Нажмите на опцию «Статус индексирования».
2. Через операторов поисковых систем
Они помогают уточнить результаты поиска. Так, применение оператора «site» позволяет увидеть приблизительное число страниц, которые уже находятся в индексе. Чтобы проверить этот параметр, в строке поиска Яндекс либо Google укажите: «site:адрес_вашего_сайта».
Важно! Если результаты в Google и Яндекс сильно разнятся между собой, то значит ваш сайт имеет какие-то проблемы со структурой сайта, мусорными страницы, индексацией или на него наложены санкции. Для поиска вы также можете использовать дополнительные инструменты, например, чтобы узнать, как изменялась индексация страниц за определенный период времени
Для этого под поисковой строкой нажмите на вкладку «Инструменты поиска» и выберите период, к примеру, «За 24 часа»
Для поиска вы также можете использовать дополнительные инструменты, например, чтобы узнать, как изменялась индексация страниц за определенный период времени. Для этого под поисковой строкой нажмите на вкладку «Инструменты поиска» и выберите период, к примеру, «За 24 часа».
3. Посредством плагинов и расширений
Используя специальные программы, проверка индексации веб-ресурса произойдет автоматически. Это можно сделать с помощью плагинов и расширений, еще известных как букмарклеты. Они представляют собой javascript-программы, которые сохраняются в браузере в виде стандартных закладок.
Преимущество плагинов и расширений в том, что вебмастеру нет необходимости каждый раз по новой заходить в поисковик и вводить там адреса сайтов, операторы и прочее. Скрипты произведут все в автоматическом режиме.
Самым популярным плагином, применяемым в этих целях, является RDS bar, который можно скачать в магазине приложений любого браузера.
Стоит отметить, что в Mozilla Firefox у плагина куда больше возможностей, чем в других браузерах. RDS bar предоставляет информацию относительно и всего веб-сайта, и его отдельных страниц
На заметку. Есть платные и бесплатные плагины. И самый большой минус бесплатных плагинов в том, что в них регулярно нужно вводить капчу.
Нельзя оставить без внимания и букмарклет «Проверка индексации». Чтобы включить программу, просто перетяните ссылку на панель браузера, а затем запустите свой портал и нажмите на закладку расширения. Так вы откроете новую вкладку с Яндекс или Google, где изучите нужную информацию касательно индексации определенных страниц.
4. С помощью специальных сервисов
Я в основном пользуюсь сторонними сервисами, потому что в них наглядно видно какие страницы в индексе, а какие там отсутствуют.
Бесплатный сервис
https://serphunt.ru/indexing/ — есть проверка, как по Яндекс, так и по Google. Бесплатно можно проверить до 50 страниц в сутки.
Платный сервис
Из платных мне больше всего нравится Topvisor — стоимость 0.024р. за проверку одной страницы.
Вы загружаете в сервис все страницы вашего сайта и он вам покажет, какие находятся в индексе поисковых систем, а какие нет.
Лучшие сервисы проверки индексации сайта
Если способы проверки, представленные выше, дают вам не всю необходимую информацию, можете работать с онлайн сервисами. Хотя результаты их работы не всегда хороши. Иногда наблюдается большая разница в получаемых данных.
Проверку индексации сайта онлайн провести очень легко, так как сервисов представлено большое количество. Остановимся на наиболее точных:
XSeo
Позволяет быстро узнать, сколько страниц содержится в Google и Яндекс. Преимущество сервиса в разделении индексов Google на главный и второстепенный (supplemental result).
Чтобы проверить сайт, нужно перейти по приведенной выше ссылке, ввести свой домен и нажать «Проверить». Результат будет такой:
PR-CY
Разработал этот сервис такой хороший и полезный форум, как PR-CY. Кроме проверки индексации можно узнать следующие параметры:
- ТИЦ, PR;
- находится ли сайт в каталоге Яндекса и Dmoz;
- внешние ссылки.
Сколько страниц есть в Google:
Сколько страниц в Яндексе:
Чтобы проверить нужные параметры, можно пользоваться данным сервисом. Он очень хорошо работает и прост в использовании.
Зачем сайт закрывают для индекса?
Есть несколько причин, которые заставляют вебмастеров скрывать свои проекты от поисковых роботов. Зачастую к такой процедуре они прибегают в двух случаях:
-
- Когда только создали блог и меняют на нем интерфейс, навигацию и прочие параметры, наполняют его различными материалами. Разумеется, веб-ресурс и контент, содержащийся на нем, будет не таким, каким бы вы хотели его видеть в конечном итоге. Естественно, пока сайт не доработан, разумно будет закрыть его от индексации Яндекса и Google, чтобы эти мусорные страницы не попадали в индекс.
Не думайте, что если ваш ресурс только появился на свет и вы не отправили поисковикам ссылки для его индексации, то они его не заметят. Роботы помимо ссылок учитывают еще и ваши посещения через браузер.
- Иногда разработчикам требуется поставить вторую версию сайта, аналог основной на которой они тестируют доработки, эту версию с дубликатом сайта лучше тоже закрывать от индексации, чтобы она не смогла навредить основному проекту и не ввести поисковые системы в заблуждение.
- Когда только создали блог и меняют на нем интерфейс, навигацию и прочие параметры, наполняют его различными материалами. Разумеется, веб-ресурс и контент, содержащийся на нем, будет не таким, каким бы вы хотели его видеть в конечном итоге. Естественно, пока сайт не доработан, разумно будет закрыть его от индексации Яндекса и Google, чтобы эти мусорные страницы не попадали в индекс.
Почему проект не индексируется
Мы подробно рассмотрели, что такое индексация сайта, для чего она нужна, какую играет роль. Мы узнали, как проводится проверка индексации сайта в Яндексе и Google. Теперь нужно понять, почему страницы ресурса могут не попасть в базу поисковых систем. Тут возможно несколько вариантов развития событий.
Во-первых, ошибка 404. Распространенная проблема, когда страница недоступна. Следовательно, поисковый робот не может ее найти, проанализировать и добавить в базу. И проверка индексации страниц сайта не даст желаемый результат. Это может случиться из-за отсутствия самой страницы, неправильного адреса или блокировки скриптом. Необходимо проверить весь проект на предмет ошибок, проанализировать работу скриптов. Многие из них отправляют сообщение о результате проверки, что поможет выявить проблему и устранить ее. После исправления ошибок стоит повторно проверить индексацию сайта.
Во-вторых, спам или переоптимизация. Здесь подразумевается манипуляция пользователями и поисковыми системами с целью привлечь трафик на ресурс. Здесь могут быть использованы различные подходы, например, добавление большого количества ключевых слов в заголовок и текст страницы, маскирование ключевых слов при помощи цвета фона или мелкого шрифта и так далее. Визуально страница может выглядеть нормально (для пользователя), но в глазах поискового робота она будет избыточно нагружена ключевыми словами. Результат — неудачная проверка сайта в поисковых системах.
Использовать подобные сомнительные способы продвижения не стоит, поскольку сегодня поисковики могут успешно определять спам и переоптимизацию, что наказывается фильтрами и баном всего проекта. Подобные подходы могут привести и к снижению позиций в поисковой выдаче, что негативно скажется на общем состоянии сайта. Мгновенное перенаправление на другую страницу (длительность перенаправления равна 0 секунд) тоже может закончиться исключением из списка выдачи.
Помните, что поисковики служат для пользователей. Они предоставляют им сайты с информацией, которая максимально релевантна их запросам, то есть соответствует тому, что они ищут. Задача оптимизатора — создать такой контент, который легко ищется поисковиком и предоставляется пользователю. И своевременная проверка индексации сайта в Гугле и Яндексе имеет здесь весомое значение.
В-третьих, ошибки в датах. Поисковики умеют сортировать загружаемые данные по датам, однако это не всегда происходит верно. По этим причинам нужно не только правильно отображать данные о времени публикации в HTML документе, но и поработать с настройками вебсервера. Будет хорошим тоном настроить систему так, чтобы при передаче запросов указывались временные данные, что позволит исключить возможные неприятности. В этом случае проверка индексации сайтов покажет положительный результат.
В-четвертых, проблемы с кодировок. Очень частая и крайне неприятная ситуация. Если в HTML документе неправильно указана кодировка текстов (или ее там вовсе нет), то на выходе поисковый робот может загрузить не полноценный текстовый материал, а набор символов. Особенно это актуально при работе с документами не на английском языке (русский, украинский и пр.). Соответствующие правки можно внести в мета-тег «Content-type». Это поможет обезопасить себя и сделать посещение сайта комфортным для пользователей.
Если проект содержит одинаковые страницы, но с разным языковым наполнением, то тут стоит осуществлять передачу кодировок в разных robots.txt на разных портах (серверах). Если передача проходит по директориям, то достаточно одного robots с соответствующими записями. После внесения изменений не забудьте проверить индексацию сайта в Google и Yandex.
В-пятых, загрузка одного веб-сайта с разных серверов. Эта проблема актуальна при наличии зеркал или mirror. Под ними понимают разные доменные адреса, ведущие на один и тот же сайт. В результате может случиться так, что поисковый бот проиндексирует один из вариантов, а другой документ исключит (а ведь это может быть не зеркало, а основной ресурс). Здесь поможет внесение записей в файл robots.txt.
Стоит поговорить и о том, сколько индексируется сайт в Яндексе или в Google. Длительность процедуры нигде не установлена и может составлять как один день, так и несколько недель. На это влияет ряд факторов:
- возраст сайта;
- состояние внутренней оптимизации (перелинковка);
- наличие ошибок на сайте;
- скорость загрузки страниц;
- количество и качество контента.
Что необходимо сделать для начала индексации нового сайта
Чтобы поисковые роботы начали индексировать сайт, необходимо:
- Убедиться, что индексация открыта в robots.txt.
Это довольно распространенная ошибка: новый сайт не открывают для индексирования в robots.txt. Эта опция по умолчанию присутствует в большинстве систем управления ресурсами.
Закрытый от индексации сайт можно узнать по наличию звездочки:
Удаление этого значка делает сайт доступным для поисковых роботов.
Строка Disallow позволяет скрыть служебные разделы и прочие страницы, которые не требуют индексации.
- Добавить сайт в поисковые системы.
Проще всего «открыть» сайт для поисковых систем – это добавление через формы, а также в Google webmaster tools и «Яндекс.Вебмастере».
- Поставить ссылки с других сайтов.
На новый сайт должны вести индексируемые ссылки с других ресурсов. При наличии уже работающего собственного сайта переходы обеспечиваются с него, а при создании самого первого ссылки покупаются на специальных биржах. Оптимальным вариантом будет задействование авторитетных ресурсов, которые регулярно обновляются.
Отличной индексацией могут похвастаться блоги и сайты СМИ. Ссылочные биржи – простой и надежный способ разместить на этих ресурсах ссылки, ведущие на новый сайт, тем самым способствуя его изучению поисковиками и включению в индекс.
- Ссылки из социальных сетей.
Положительно отражаются на индексации сайта прямые ссылки из соцсетей. Twitter, Facebook, Google Plus, YouTube – эти и многие другие площадки помогут «познакомить» поисковые системы с вашим ресурсом.
Для ожидаемого результата необходимо следить, чтобы ссылки были обязательно прямыми. Редирект, который задействован в социальной сети «Вконтакте», не позволит добиться индексации сайта.
- Добавление сайта в социальные закладки.
Ситуация со ссылками из социальных закладок, которые еще несколько лет назад были отличным вариантом, сегодня слегка изменилась, но не для всех сервисов.
К социальным закладкам относятся такие сайты, как: bobrdobr.ru, memori.qip.ru, moemesto.ru, mister-wong.ru и сотни подобных им. Их несомненное достоинство в том, что благодаря им ваш ресурс будет быстро обнаружен поисковыми роботами.
Конечно, индексация сайта в поисковиках будет максимально успешной, если одновременно применять все способы.
Оптимизация сайта – очень важный этап раскрутки, но все меры по продвижению не принесут успеха, если ресурс не индексируется поисковыми системами, поэтому этот вопрос необходимо решить в первую очередь.
Вас также может заинтересовать: Сайт закрыт от индексации: это не повод для паники
Различия индексации сайта в Google и «Яндексе»
Основное различие поисковых систем «Гугл» и «Яндекс» заключается в региональной принадлежности. Если Yandex работает только в русскоязычной части Интернета, то Google является международным поисковиком. Свои системы поиска есть практически в каждой стране. В некоторых случаях региональные сервисы могут составлять серьезную конкуренцию «Гуглу» («Яндекс» в РФ, Seznam – в Чехии, Baidu – в КНР и т. д.). Подтверждением этого факта могут служить переговоры по вопросам выкупа сервиса Yandex компанией «Гугл», которые имели место в 2003 году. Пока такое поглощение не состоялось.
У каждой поисковой системы есть свои программы ботов, осуществляющие проверку сайтов на предмет релевантности и качества представленного на них контента. При этом стандарты работы таких роботов постоянно совершенствуются. Нужно отметить, что разработчики не открывают полностью суть алгоритмов индексации, поэтому специалисты постоянно анализируют поисковые программы и на основании имеющихся практических данных формируют определенные выводы.
Рекомендуемые статьи по данной теме:
- Внутренняя оптимизация сайта: пошаговый разбор
- Проверка robots.txt: типичные ошибки и их устранение
- Редирект с http на https: повышаем безопасность сайта
Требования, которые предъявляют «Гугл» и «Яндекс» к индексации сайтов, имеют много общего. Поэтому можно сформулировать некоторые универсальные рекомендации:
Нужно уделять больше внимание качеству контента (уникальность, полезность и грамотность)
Программные и орфографические ошибки четко отслеживаются ботами и снижают индекс авторитетности сайта.
Интернет-площадки должны иметь понятную структуру
Важно, чтобы они были удобными для пользователей и содержали важную и ценную информацию.
Следует качественно проработать страницы контактов и обратной связи, разместить портфолио и отзывы, а также описать имеющиеся достижения.
На сайте нужно разместить работающие исходящие ссылки.
Контент на интернет-площадках должен постоянно обновляться, а их функционал следует дорабатывать с учетом различных нововведений и инноваций. Все это учитывается поисковиками при ранжировании сайтов.
Поисковая система «Яндекса» имеет два робота – основной и быстрый (Orange). Первый осуществляет индексацию Сети в целом, а второй обеспечивает возможность быстрого поиска наиболее свежей и актуальной информации по запросу пользователя. Каждый робот имеет перечень данных, которые необходимо проиндексировать.
По мнению экспертов, «Яндекс» работает медленнее, чем «Гугл». Но при этом поисковая система Рунета индексирует полезные материалы и исключает из выдачи «лишние» результаты.
Преимущество «Гугла» заключается в его универсальности. «Яндекс» же развивается исключительно в русскоязычном Интернете (попытки выйти на другие рынки имели место, но пока не увенчались успехом).
Система Yandex ориентирована на поиск по запросам из ограниченного перечня регионов. Но именно региональный характер во многом определяет его успешность. В настоящее время «Гугл» и «Яндекс» занимают в русскоязычном Интернете примерно одинаковые ниши.
В интернет-пространстве других стран поисковая система Yandex не получила распространение, так как наиболее значимыми факторами поиска там выступают язык и местонахождение пользователя. На основании этих критериев и строится поисковая выдача «Гугла». В системе «Яндекс» индексация по языковым признакам не происходит. Несмотря на то, что этот поисковик определяет место нахождения пользователя, он не учитывает этот фактор при обработке запроса. Классифицировать сайты Рунета по регионам в зависимости от языка запроса не получается. «Яндекс» может настраивать поисковую выдачу исключительно по территориальному признаку, в чем и заключается уникальность этой системы.
Не так давно Yandex запустил новый инструмент – поиск «Андромеда». После этого поисковик предлагает определенные места в городах, дает возможность собирать коллекции пользователя, информирует о событиях из мира спорта, отмечает статус интернет-ресурсов особыми значками в зависимости от их благонадежности и популярности. Каким образом новый инструмент может влиять на индексацию, еще не совсем ясно.
Важным нововведением 2018 года является замена показателя ТИЦ (индекс цитирования) на ИКС (индекс качества сайта). Новый показатель необходимо учитывать при продвижении ресурса.
На что влияет индексация при продвижении
Благодаря индексации сайты попадают в поисковую систему. Чем чаще обновляется контент, тем быстрее это происходит, так как боты чаще приходят на сайт. Это приводит к более высокой позиции при выдаче на запрос.
Индексация сайта в поисковых системах дает приток посетителей и способствует развитию проекта.
Кроме контента, роботы оценивают посещаемость и поведение посетителей. На основании этих факторов они делают выводы о полезности ресурса, чаще посещают сайт, что поднимает на более высокую позицию в поисковой выдаче. Следовательно, трафик снова увеличивается.
Индексация — это важный процесс для продвижения проектов. Чтобы индексирование прошло успешно, поисковые роботы должны убедиться в полезности информации.
Алгоритмы, по которым работают поисковые машины, постоянно меняются и усложняются. Цель индексации — внесение информации в базу данных поисковых систем.
Часто задаваемые вопросы наших пользователей
Для нашей системы на самом деле на важен какой был указан регистр, а важно какой УРЛ был проиндексирован в поисковой системе. Если в Яндексе или в Google этот урл http://www.rush-Analytics.ru будет в индексе и мы его покажем в индексе
Если же он не проиндексирован у них у нас будут те же результаты. С этим URL будет так же http://www.rush-analytics.ru
Проблемы с индексацией при верхним и нижним регистром чаще всего возникают, когда сайт с нижнего регистра перешел на верхний или на оборот. Но поисковик не успел проиндексировать часть страниц. То есть, часть в индексе по старому регистру, а часть уже по новому. Либо могут все страницы быть еще по старому регистру, а новые индексацию еще не прошли.
Пошаговый алгоритм работы с сервисом:
- Создание задачи. Чтобы создать задачу, необходимо перейти во вкладку проверка индексации и нажать «Создать новую задачу»
-
Шаг первый.
Здесь необходимо ввести название задачи (обязательное поле). Можно ввести любое название, часто бывает удобно вводить название сайта, чтобы в будущем легко найти нужную задачу.
-
Второй шаг. Поисковая система и регион
Мы указываем поисковую систему, по данным которой будет проверяться индексация. Можно выбрать Яндекс и Google.
Для Google на данный момент доступны все регионы и языки
- Третий шаг. « URLs и цена»
- Здесь возможна загрузка запросов в поле интерфейса, через файл, а так же через ссылку на файл XML Sitemap.
Так же можно установить «Эксперт опции» если вам нужна проверка точного URL (с учетом закрывающего / ).
- Нажимаем «Создать новую задачу» — ваша задача отправлен на проверку индексации!
- Теперь можно отслеживать статус задачи во вкладке «Очередь» или же в списке задач по проверке индексации.
На данный момент в Rush Analytics есть несколько статусов:В очереди – данные еще не собираются, задача ждет своей очереди на сбор данныхСбор данных – счетчик показывает, сколько ключевых слов обработаноНа паузе – вы можете вручную поставить задачу на паузу, если не уверены, что хотите его собирать. Или же, задача может сама встать на паузу т.к. у вас кончились деньги на балансе.Готов – задача готова — вы можете посмотреть результаты в веб-интерфейсе или скачать в формате XLSX
Дальше, можно просмотреть результаты в веб интерфейсе, скачать готовый отчет и отредактировать задачу.
Руководство по работе с редактированием задачи
Здесь можно:
- Изменить название задачи
- Изменить поисковую систему
- Изменить «Эксперт опции»
- Сохранить новые настройки
В файле каждый URL будет помечен как 1 или 0 (1 – страница находится в индексе поисковой системы, 0 – страница не в индексе).Проверка индексации страниц сайта в Rush Analytics
Рекомендации по индексации сайта (проверка, анализ)
Одинаковое число проиндексированных страниц в Яндексе и Google
Периодичность проверки индексации страниц
Seo-продвижение напрямую зависит от результатов процесса индексирования. Здесь все просто — если нужные нам целевые страницы не имеют прописки в индексе Яндекса и Гугла, о дальнейшем их попадании в поисковую выдачу нет смысла говорить.
Поэтому необходимо периодически проверять статус страниц, которые мы продвигаем в поиске. Обычно это происходит в процессе проверки видимости сайта. Проверяем позиции, видим наличие целевых документов в поиске.
Например, используя инструментарий сервиса «Топвизор», мы не только видим позиции сайта, но и можем тут же сверить соответствие целевой страницы с той, которая находится в поиске по проверяемому запросу:
Для постоянной проверки индексированных страниц в Яндексе, рекомендую использовать специальную возможность в вебмастере поисковика. Речь идет об инструменте «мониторинг важных страниц».
Он позволяет отслеживать данные указанных вебмастером страниц (до 100 включительно), среди которых числится статус документа в поиске и наличие индексации в Яндексе:
Сопоставление проиндексированных страниц в Яндексе и Гугле
Проверяя индексацию сайта в Яндексе и Гугл, обязательно стоит сверить число проиндексированных страниц:
Вот какие могут быть различия в полученных данных и возможные причины проблемы индексации (в таблице ниже Я — число проиндексированных станиц в Яндексе, G — в Гугле):
Конечно, это не все проблемы несоответствия страниц в индексе Гугла и Яндекса. Могут быть и банальные причины возникшей проблемы (полетел хостинг, залез вирус, на сайт наложены санкции и т.д.).
Но в любом случае, если числа проиндексированных страниц Гугла и Яндекса сильно отличаются друг от друга, пора бить тревогу!
В противном случае потеря поискового трафика не только неизбежна, но и сулит в дальнейшем проблемы с повторной индексацией, когда решится вопрос несоответствия.
Ведь чаще всего бывает так, что один из поисковиков начинает игнорировать страницы сайта из-за наложенных на него санкций или бана. Выползти из этой ситуации очень сложно, поэтому лучше не доводить ситуацию с проблемной индексацией до крайностей.
В Яндексе и Google разное количество проиндексированных страниц: что делать?
На данном этапе вы уже знаете, какие страницы не проиндексированы. Но почему так произошло?
Вот причины, по которым поисковики могут индексировать не все (или лишние) страницы:
- Разные директивы для роботов Яндекса и Google в robots.txt. В этом случае – ошибочно или намеренно – запрещена индексация определенного типа страниц для Googlebot или Yandexbot; проверьте файл robots.txt и при необходимости исправьте директивы.
- Молодой сайт. Требуется время, чтобы поисковики добавили все страницы в индекс; если спустя 2-3 месяца после запуска сайта проблема не решилась, ищите другие причины.
- Нет XML-карты сайта. Она помогает роботам ПС эффективней сканировать сайт, поэтому ее стоит обязательно создать и указать путь к ней в robots.txt.
- Наличие дублей страниц. Возникают в силу специфики CMS, ошибок при разработке и настройке сайта, копировании контента. Решение – найти и устранить дубли.
- Низкая скорость работы сайта. Робот может попросту не дождаться ответа и уйти ни с чем. Решение – найти «узкие места» и ускорить работу сайта.
- Редкое добавление контента. Чем реже вы добавляете новые страницы, тем реже роботы посещают сайт. Естественно, скорость переобхода у Яндекса и Google разная, поэтому возникают расхождения. Решение — хотя бы раз в неделю создавать новую страницу с уникальным контентом, например, статьей для блога. Если у вас не хватает времени для работы над контентом, подключите модуль автоматического наполнения сайта от PromoPult – копирайтеры будут регулярно писать тематические тексты под ваш сайт, а верстальщики – размещать их на страницах.
- Редкое обновление устаревшего контента. Если существующие страницы не обновляются, то при выпадении из индекса повторная индексация произойдет не скоро. Избежать этого помогает настроенный Last-Modified и регулярная актуализация информации.
- Санкции поисковиков. Ваш сайт может попасть под фильтры одного из поисковиков. В этом случае стоит проверить сайт на наличие фильтров.
- Более 4-х уровней вложенности. В такой ситуации поисковик не успевает добраться до части «глубоких» страниц. Решение –переосмыслите структуру сайта, максимально упростите ее.
После устранения недостатков подождите пару недель, чтобы поисковики переиндексировали страницы, и повторно промониторьте ситуацию. Если все сделано верно, то расхождения минимизируются (ожидать, что совпадать будут 100% страниц, не стоит).
Проверьте индексацию сайта в консоли вебмастеров
Это базовый способ проверки для вебмастера или владельца сайта.
. Необходимо зайти в Search Console и на вкладке «Обзор» выбрать график «Покрытие»:
Зеленым цветом на графике отмечается количество страниц в индексе без ошибок, красным — с ошибками. Перейдя на вкладку «Покрытие», можно детально посмотреть: какие ошибки возникли при индексировании данных страниц и когда они были обнаружены.
Отдельно можно проверить есть ли в индексе конкретная страница. Для этого нужно только вставить интересующий вас URL в строку поиска:
Если все хорошо, вы увидите такое сообщение:
Если страница еще не в индексе сайта, вы увидите такое сообщение:
Если вы внесли изменения в страницу, на которой раньше были ошибки, ее можно отправить на переиндексацию с помощью кнопки «Запросить индексирование»:
После отправки запроса вы увидите сообщение:
Также с помощью этой кнопки можно самостоятельно отправить новые страницы в очередь на индексацию.
Яндекс. Проходим авторизацию в Яндекс.Паспорт, заходим в Яндекс.Вебмастер и переходим по пути «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске». Здесь можно посмотреть динамику изменения количества страниц в поиске.
Чтобы использовать этот метод, у вас должен быть определенный уровень доступа в панель вебмастера. Пример хорошего индексирования сайта. Количество качественных страниц без ошибок растет, и они добавляются в индекс.
Проблемы с индексацией выглядят так:
На скриншоте — сайт, закрытый от индексации в файле robots.txt