Руководство по настройке Screaming Frog SEO Spider

Screaming Frog SEO Spider - инструмент для сканирования, детального анализа и поиска распространённых seo-ошибок на веб-сайтах, который помогает технически оптимизировать и улучшать общие показатели сайта в поисковых системах.

Инструмент предоставляет огромный функционал, который может помочь найти все распространенные проблемы, устранение которых улучшит позиции любого ресурса. Это делает его незаменимым помощником для глубокого анализа сайтов любого масштаба.

В этом руководстве мы разберем ключевые настройки и функции Screaming Frog SEO Spider, которые помогут вам эффективно анализировать и оптимизировать ваш веб-ресурс.

Парсинг карты сайта sitemap.xml

«Configuration» → «Spider» → «Crawl» → Раздел «XML Sitemaps» → Ставим галочки напротив:

• Crawl Linked XML Sitemaps - Разрешает сканировать sitemap.xml вашего сайта
• Auto discower XML Sitemaps via robots.txt - Сканировать карту сайта, которая указана у вас в robots.txt в разделе "Sitemap:"
• Crawl these sitemaps - Сканировать указанные карты сайта вручную (в поле ниже)

Сканирование закрытых meta-тегом страниц

В базовой конфигурации Screaming Frog следует базовым правилам поисковых систем и не сканирует внутренние (internal) и внешние (external) ссылки, которые закрыты meta-тегом. Благодаря сканированию закрытых страниц вы сможете найти страницы, которые были случайно закрыты от индексации.

«Configuration» → «Spider» → «Crawl» → Раздел «Crawl behavior» → Ставим галочки напротив:

• «Follow internal "nofollow"»
• «Follow external "nofollow"»

Проверка микроразметки

Для проверки структурированных данных переходим в Configuration → Spider → Extraction и активируем следующие виды разметки:

• JSON-LS - производит проверку разметки в формате JSON;
• Microdata - Проверка разметки в формате microdata;
• Schema.org Validation;
• Google rich result feature validation - проверка функциональности расширенных результатов в поиске Google.

Поиск страниц с похожим контентом

Чтобы не затруднять выбор правильной страницы для ранжирования, следует свести к минимуму дублирование контента внутри сайта. SEO Spider автоматически определяет точные дубликаты страниц (которые схожи на 100%). Однако для определения страниц, которые являются «почти дубликатами» (схожи на 70% и более), необходимо включить соответствующую настройку.

1. Переходим в раздел «Configuration» → «Content» → «Duplicates»;
2. Убираем галочку напротив «Only check indexable pages for duplicates», чтобы выявить страницы дубли и удалить их (по возможности), чтобы правильно расходовать бюджет сканирования;
3. Ставим галочку в разделе «Enable Near Duplicates» - активирует функционал поиска неявных дубликатов;
4. Near duplicate similarity threshold (%) - От какого процента похожести считать страницы частичными дублями. Я рекомендую ставить 70%.

Проверка сайта на орфографические и грамматические ошибки

Screaming Frog SEO Spider способен проверять заголовки, метаописания и текст страниц на орфографические и грамматические ошибки.

1. Переходим в раздел «Configuration» → «Content» → «Spelling & Grammar»;
2. Активируем «Enable spell check» - проверка орфографии;
3. Активируем «Enable Grammar check» - проверка грамматики;
4. В разделе «Language» выбираем «Manual» и указываем нужный язык.

Инструмент использует атрибут `lang` в HTML-коде страницы для автоматического определения языка. Так как на вашем сайте этот атрибут может быть указан неправильно мы выставим язык вручную.

Уменьшаем скорость сканирования

Когда краулер заходит на сайт, он обычно тратит ≈5 секунд, чтобы отобразить просканированный контент. Однако это время может увеличиваться, если сайт загружается медленно или если у сервера есть проблемы с доступностью. И если вы не хотите, чтобы краулер увидел страницу вот так:

 То вам нужно сократить скорость обхода и дать краулеру больше времени на обработку. Это замедлит скорость обхода (особенно для сайтов с >1000 страниц), но позволит получить точные данные.

Переходим в раздел «Speed» → Активируем «Limit URL/s» → в разделе «Max URI/s» ставим 1.Это позволит снизить количество сканируемых URL до 1 URL в секунду.  

Смена User-agent

Изменение User-Agent - настройка, которая позволяет увидеть и проанализировать свою веб-страницу так, как её видит поисковый робот. Это позволит проверить её корректность, скорость загрузки или отображаемый контент для конкретного User-Agent.

Интеграция с внешними API

Подключение API Google Search Console

Позволит найти страницы, которые не получают трафик из Google и которые можно проработать и получать дополнительных пользователей на свой сайт.

Разместите
тендер бесплатно

Наша система сама подберет вам исполнителей на услуги, связанные с разработкой сайта или приложения, поисковой оптимизацией, контекстной рекламой, маркетингом, SMM и PR.

Заполнить заявку 13480 тендеров
проведено за восемь лет работы нашего сайта.

1. Перейдите в Configuration → API Access → Google Search Console → вкладка «Account Information»;

2. Нажмите на «Sign in with Google», чтобы зайти в аккаунт;

3. Выдайте все необходимые права доступа;

4. "Received verification code. You may now close this window" - говорит о успешном подключении вашего аккаунта. Вернитесь обратно в программу.

5. В разделе «Select a property» выберите нужный сайт → Нажмите OK. Если сайтов много, воспользуйтесь поиском.

6. Перейдите в вкладку «Search Analytics» → В разделе «Range» выберите последние 12 месяцев;

7. На вкладке «URL Inspection» → активируйте опцию «Enable URL Inspection»;

Проверка скорости загрузки сайта

Как проверить скорость загрузки всех страниц на сайте →

Анализ обхода сайта

Последний параметр, который необходимо настроить. Убедитесь, что все пункты отмечены и что установлен флажок напротив пункта «Auto-analyse at End of Crawl», который позволяет автоматически запускать анализ по завершении сканирования.

Сохраняем настройки сканирования

Чтобы не производить одинаковые настройки постоянно можно сохранить конфигурационный файл, который будет содержать все параметры сканирования, которые вы настроили. Чтобы произвести сохранение перейдите в «Configuration» → «Profiles» → «Save As» → Выбираем папку, где мы не сможем случайно удалить этот файл.

 Если после запуска Screaming Frog не парсит сайт (т.е обошел всего 1 страницу), то воспользуйтесь данными рекомендациями.  

Информация взята с сайта: https://seo-personal.ru/blog/rukovodstvo-po-nastrojke-screaming-frog-seo-spider/