SEO Crawler – это сервис, который производит краулинг сайта в онлайн режиме прямо в браузере. Он показывает ошибки клиента и сервера на сайте, удобен, быстр и прост в использовании, имеет понятный интерфейс, можно вводить ограничения на проверки и получить отчет в форме совместимого с Excel файла. Программа анализирует до 250 внутренних url-адресов сайта. Сервис бесплатный.
Одной из необходимых составляющих жизни любого сайта является его успешное взаимодействие с поисковыми ботами. А они в свою очередь – неотъемлемая часть поиска и систематизации данных в глобальной сети. Этот процесс условно делится на 3 этапа: сбор информации, помещение в базу данных с последующим хранением и взаимодействие с пользователями – т.е. тот результат в виде списка релевантных ссылок, который мы видим, вводя поисковой запрос. Для того чтобы первый этап был осуществлен беспрепятственно, Интернет ресурсы должны быть хорошо структурированы и не иметь ошибок. Иначе такие поисковые механизмы могут просто завязнуть в проблемном месте в вечном ожидании отклика какого-нибудь адреса. Различают несколько типов поисковых программ: пауки («фотографируют» страницы), краулеры (анализируют и оценивают, могут переходить по ссылкам), боты (переходят по все ссылкам сайта).
В СЕО целях используют краулеров, чтобы понять, есть ли у вебресурса проблемы с видимостью для поисковых систем, и насколько эффективна выбранная архитектура. А также выявить возможные сбои.
Сервис SEO Crawler – это свободный, быстрый и гибкий СEO-обходчик вебсайта, который с легкостью поможет протестировать его работоспособность в технических моментах и оценить, насколько хорошо функционирует структура.
Преимущества
-
Скорость. В режиме реального времени вы с легкостью можете ознакомиться с результатами краулинга.
-
Позволяет работать с ним буквально на ходу, так как есть возможность пользоваться, заходя с мобильных усройств.
-
Программа бесплатная (можно провести проверку до 250-ти внутренних URL-адресов, а также использовать дополнительные фильтры при желании).
После того, как в рабочее поле введен адрес вебресурса и инициирована проверка, буквально в считанные секунды формируется отчет. Он включает:
-
перечень всех url-адресов сайта;
-
название страницы;
-
код статуса HTTP;
-
информацию о перенаправлении цепей;
-
подробности о мета-роботах;
-
пути внешних переходов и общее число ссылок на странице;
-
канонические url-адреса;
-
перечень любых обнаруженных краулером СЕО проблем.
При желании полученный веб-отчет можно экспортировать в файл Excel, в котором, помимо уже упомянутых параметров, будут указаны:
-
мета-описание страницы;
-
общее количество внешних ссылок;
-
мета ключевые слова;
-
метаобновление;
В стандартном виде он представляет собой вебтаблицу, в которой в первой колонке перчислены все внутренние url-адреса сайта, а в остальных представлены результаты проверки по всем показателям. Последняя содержит в себе все потенциально проблемные моменты с точки зрения СЕО.
Если вы хотите исключить из поля деятельности краулера какие-то параметры или области данных, есть возможность настройки шаблонов url. Те же regular expressions помогут провести поиск среди содержимого страницы. При желании обнаружить, например, присутствие Google Analytics, достаточно просто ввести в нужное поле его данные.
SEO Crawler – это вежливый сервис, он не затруднит работу robots.txt и других необходимых, полезных элементов. Кроме того, есть возможность оценить, насколько ваш сайт легко реагирует на запросы от устройств разных форматов. Велика ли разница в его работе, если посетители пользуются стандартными ПК, планшетом, мобильным телефоном или другими гаджетами.
Кроме того, краулер будет хорошим помощником, если нужно вычислить повторяющиеся заголовки на страницах, дублированные мета-тэги, наличие ошибок сервера, редиректы и многое другое. После того, как вы воспользуетесь данным сервисом, вы получите возможность значительно улучшить его работу.
http://robhammond.co/tools/seo-crawler
Назад в раздел
