Alekzo 
Тендеры и лиды
Информация
В этой статье разберём, как полностью автоматизировать сканирование сайта в Screaming Frog и выводить результаты по ошибкам в наглядные отчёты Google Looker Studio.
Чтобы сделать свой персонализированный отчёт об ошибках сайта в Google Looker Studio, понадобится:
Лицензионная версия программы Screaming Frog;
Google-аккаунт для Looker Studio и Google Диска;
Готовый файл конфигурации в Screaming Frog.
Следуйте шагам ниже, чтобы настроить свой первый автоматизированный отчёт о сканировании.
Чтобы запланировать сканирование сайта, сначала нужно настроить и сохранить конфигурационный файл, так как без него автоматический запуск невозможен. Этот файл содержит все правила сканирования (как именно краулер должен сканировать данный сайт).
Если вы используете базовые или собственные настройки, их нужно сохранить:
Установите все настройки Screaming Frog, которые вы используете при сканировании.
После произведите их сохранение: «Configuration» → «Profiles» → «Save As» → выбираем папку, где мы не сможем случайно удалить этот файл.
Наша система сама подберет вам исполнителей на услуги, связанные с разработкой сайта или приложения, поисковой оптимизацией, контекстной рекламой, маркетингом, SMM и PR.
Заполнить заявку
13818 тендеров
проведено за восемь лет работы нашего сайта.
Экспорт в Looker Studio доступен только при запланированном сканировании, так как он создаёт сводный отчёт по результатам обхода сайта в отдельной строке. При ручной выгрузке можно отправить данные в Google Sheets, но такой файл не подойдет для Looker Studio.
Чтобы создать новое запланированное сканирование, в верхнем меню переходим в File > Scheduling > в появившемся окне нажимаем «+ Add».
1. Task Name — название данной задачи;
2. Project Name — название проекта (не путать с доменом);
В task и project name запрещено использовать следующие символы: \ / . : * ? ' < > | "
3. Description — описание (можно не заполнять);
4. Date\Time — дата, время и интервал запланированного сканирования.
Once — запуск произойдет 1 раз
Daily — ежедневно
Weekly — еженедельно
Monthly — ежемесячно
После заполнения этих данных переходим в следующую вкладку.
1. Crawler Mode — позволяет выбрать режим сканирования сайта.
Spider — программа просканирует весь сайт по заданным настройкам;
List — обход только указанного списка страниц (нужно будет загрузить список страниц).
List source — выбор способа загрузки страниц: File — загрузкой документа со списком URL; Sitemap URL — сканирование URL из файла sitemap.xml.
2. Crawl Seed — адрес сайта для сканирования в формате https://site.ru/.
3. Crawl Config — путь к файлу конфигурации, который мы сохранили в шаге №1.
4. Auth Config — функция, позволяющая краулеру получать доступ к закрытым, парольным или защищенным разделам сайта. Если таковых нет — оставляем поле пустым.
Позволяет выбрать API, к которым следует подключиться для запланированного сканирования.
В этом разделе отметьте Google Search Console и PageSpeed Insights — эти API стоит заранее подключить в настройках Screaming Frog.
Выбираем нужный сервис и нажимаем на шестеренку;
Выбираем нужный Google-аккаунт, на котором есть сайт, который мы будем сканировать;
Нажимаем Connect;
Выбираем нужный сайт;
Нажимаем «OK» и после жмем на любое место, чтобы окно закрылось.
PageSpeed Insights подключится автоматически после нажатия на чекбокс, если вы правильно указали ключ.
1. Headless (requires for exports) — ставим галочку, чтобы разрешить экспорт данных;
2. Local output folder — выбираем папку на своем ПК для хранения необходимых данных;
3. Google drive account — подключаем свою учетную запись Google. Именно в этом аккаунте будут созданы таблицы Google Sheets с данными сканирования.
Важно: учетная запись Google должна совпадать с той, с которой вы подключаетесь к Looker Studio.
Нажимаем «Manage» → «+ Add» → выбираем нужный аккаунт;
Даем приложению доступ ко всем файлам, которые оно запрашивает, и закрываем окно.
4. Output mode
Выбираем «Created timestamped folder in output» — чтобы в выходных данных создавалась папка с меткой времени.
5. Local file exports — сохранение результатов сканирования локально (на свой ПК):
Save crawl — сохраняет файлы на ваш ПК;
Create XML sitemap — автоматическое создание XML-карты сайта;
Create images sitemap — генерация XML-карты с картинками, которые есть на сайте.
В данном поле ничего не выбираем.
6. Export for Looker Studio
Устанавливаем флажок напротив «Custom crawl overview» → нажимаем «Configure» → выбираем все метрики, нажав на двойную стрелку (скриншот ниже).
Именно эта функция автоматически экспортирует данные в Google-таблицы в новую строку.
7. Нажмите кнопку ОК, чтобы сохранить все данные, — расписание будет активировано в указанную дату и время.
Рекомендую проверить корректность работы. Для этого запланируйте сканирование сразу после завершения настройки. В назначенное время система запустит сканирование через .exe-файл.
Дождитесь завершения сканирования, чтобы перейти к шагам ниже. Отслеживать процесс можно по полю «mCompleted».
Такая автоматизация особенно полезна, когда сайт большой и меняется часто: регулярный краулинг — основа любого технического аудита сайта, а еженедельный отчёт позволяет ловить новые ошибки раньше, чем они скажутся на позициях.
Для проверки результата запланированного сканирования запустите программу → вернитесь в меню «File» → «Scheduling» → «History».
Если у сканирования есть дата и время окончания и нет никаких ошибок в столбце «Error», то сканирование выполнено успешно.
Unexpected task shutdown detected — непредвиденное завершение задачи. Причин, по которым это могло произойти, масса, но чаще всего это закрытое окно .exe, в котором показывался процесс, — тем самым сканирование прерывается.
Не приступайте к шагу №3, пока у вас не будет итогового Google Sheets файла с результатом сканирования (шаг №2).
После первого сканирования в выбранной учетной записи Google Drive создается папка «Screaming Frog SEO Spider» → название из поля «Task name» → Project name → внутри будут находиться 2 документа Google Sheets с результатами сканирования.
Перейдите в Looker Studio → «Создать» → «Источник данных».
Завершите создание аккаунта, указав страну, название компании и выбрав, какие рассылки вы хотите получать. Нажимаем «Далее».
При завершении создания аккаунта ставим везде «Нет», если рассылки не нужны, и нажимаем «Далее».
Выберите коннектор «Google Таблицы», который вы найдете в разделе «Google Connectors».
В разделе «Авторизация» нажмите «Разрешить» и выберите аккаунт, которому вы даете разрешение.
Теперь с помощью поиска найдите Google-таблицу, в которой находятся данные сканирования:
Screaming Frog → выберите лист → в разделе «Варианты» оставляем без изменений → нажимаем кнопку «Связать» в правом верхнем углу.
На следующем экране вы увидите поля, содержащиеся в отчете → нажмите «Создать отчет». Так как источник данных уже создан, открывшийся отчет можно закрыть и удалить.
Вернитесь обратно в Looker Studio и проделайте те же действия ещё раз, только в разделе «Partner Connectors» выберите «Chrome UX Report».
Chrome UX Report — официальный набор данных от Google, который показывает, как реальные пользователи взаимодействуют с вашим сайтом в браузере Chrome.
Дайте разрешение, настройте шаги и подключите этот источник данных.
После этого отчёт будет обновляться сам после каждого запланированного сканирования. Если сайт продвигается в поиске, такой дашборд удобно показывать и команде, и клиенту — в рамках SEO-продвижения он закрывает вопрос «что сейчас с технической частью сайта» без ручных выгрузок.
Источник: блог Андрея Павловича, seo-personal.ru
