Тогда робот не будет тратить время на страницы, которые не меняются и не отвечают 200 ОК. Также есть специальные сервисы, проверяющие индексацию и логи сервера — в этом случае можно получить много полезной информации. Но нужно заказывать полную проверку, при частичной сканируются только страницы, до которых успел добраться робот уже самого сервиса. Для поискового робота сайт может находиться сразу на нескольких адресах. Если перенаправление не настроено, то главное зеркало определяется поисковиками автоматически.
И это не считая других «жизненно важных» для поиска страниц. Нетрудно посчитать, что сканирование всех страниц сайта произойдет примерно через 13 дней. Отметим, что ситуация усугубляется установленными приоритетами на индексацию страниц, частотой их обновления и уровнем вложенности самих страниц. Как результат, часть страниц будет просканирована поисковым роботом значительно позже. «Краулинговый бюджет» — термин, подразумевающий количество страниц, которые может просканировать поисковый робот за одну сессию визита на сайт.
Как поисковик обходит сайт
Разберемся, что делать, чтобы боты успевали сканировать все нужные страницы. Разобраться с этим надо обязательно, так как они не несут пользы ни посетителям, ни поисковикам. Системы не любят такой контент и снижают сайт в выдаче, боты редко обходят эти страницы вместе с целевой.Сделайте технический аудит, чтобы выявить список дублирования. А затем либо удалите эти документы, либо настройте редиректы.
Если страница или ее часть не отображаются в выдаче, причиной могут быть проблемы с кодом JavaScript. На что стоит направить усилия, чтобы улучшить ситуацию? https://deveducation.com/ Как уже говорилось выше, под краулингом подразумевается индексация. Следовательно, чем больше с ней проблем, тем менее эффективно расходуется бюджет.
Проставьте ссылки на потерянные страницы, чтобы пользователи и боты смогли вас найти
В некоторых случаях просто так закрыть дублирующую страницу от робота нельзя чисто технически. В таком случае используют тег Canonical, объясняющий роботу, какая страница должна быть в индексе, а какую можно проигнорировать. В таком случае Canonical действует как мягкий 301-й редирект. В Google такой процесс деиндексации – долгий, он занимает как увеличить краулинговый бюджет месяцы с периодическими проверками, не стала ли страница доступной. Яндекс выбросит «битую» страницу быстрее, но если причины проблемы не устранены, будет возвращать её в индекс и снова выбрасывать. Тем самым, роботы впустую тратят свое время на сканирование страниц, которые затем поисковики пометят как дублированный контент.
- Внешние ссылки важнее, но их сложнее получить, в то время как внутренними ссылками, веб-мастеру намного легче управлять.
- Но в большинстве случаев вам не стоит беспокоиться о краунгивом бюджете.
- Казалось бы, наполняй сайт качественным контентом и все будет отлично.
- Заголовок Last-Modified сообщает браузеру пользователя или роботу ПС информацию о дате и времени последнего изменения текущей страницы.
- Получается, что пущенный на самотек краулинговый бюджет, неоптимизированный, приведет к неприятностям для всего ресурса.
Битые ссылки, по которым страницы отдают код ответа 404, по словам Джона Мюллера из Google, не тратят краулинговый бюджет. Поисковый бот их обходит, но только для того, чтобы убедиться, что они не доступны — не в ущерб остальным страницам. Вредны страницы с ошибкой 404 SOFT — она возникает, когда при попытке попасть в удаленный документ сервер должен отвечать кодом 404 или 410, но вместо этого отдает код 200 ОК. Проверить краулинговый бюджет можно в серверных логах, там можно проследить за тем, какие страницы посещает краулер, увидеть маршруты и расписание обходов сайта.
Проверка конкретной страницы
Рассмотрим, что можно внедрить, чтобы оптимизировать этот процесс. В зависимости от ряда факторов, к примеру, популярности ресурса, лимит может как увеличиваться, так и сокращаться. Решения, связанные с JavaScript необходимы не для всего содержимого. Не переусердствуйте с визуализацией, иначе можно утяжелить страничку. Некоторую информацию прописываем с помощью HTML, чтобы боты могли сразу ее распознать.
Однако этот вопрос слишком глобален, чтобы рассматривать его в рамках темы краулинга. Пунктов здесь достаточно много, поэтому мы начнём с самых простых по мере усложнения. Чтобы избежать этой ситуации, регулярно проверяйте свой сайт в вебмастере поисковиков. Если сайт станет подозрительным, то в них появится оповещение.
Поэтому важно как для всей оптимизации в целом, так и для краулингового бюджета в частности, правильно настраивать редиректы. Чем меньше будет одинаковых страниц, тем больше лимитов останется на другие целевые url. Такие сайты, как правило, имеют большое количество страниц и сложную структуру. В первую очередь, желательно сделать страницы уникальными, ну или хотя бы большую часть из них.
Лимит, который и носит название «краулинговый бюджет» для каждого сайта разный и определяется поисковой системой. Чтобы страницы сайта попали в индекс поисковых систем и после этого в выдачу, роботы (краулеры) Яндекса и Google должны найти и оценить эти страницы. И для этого каждому сайту выделяется краулинговый бюджет — количество страниц, которое может быть просканировано во время одного посещения сайта краулером. Краулинг представляет собой процесс обход поисковым роботом (краулером, пауком) документов сайта для последующего их добавления в индекс. Любая поисковая система старается оптимизировать процесс индексации сайтов, выделяя на каждый из них лимиты. Краулинговый бюджет сайта определяет количество документов, которое поисковый робот должен обойти за одно посещение или другой временной промежуток.