После версии 7.0 в Screaming Frog появилась возможность сканировать сайты, которые находятся в разработке под паролем. Это очень мощная функция, которую нужно использовать аккуратно, особенно если вы используете её впервые!
«Если вы используете функцию в первый раз, то я не рекомендую давать доступ к административной панели сайта, так как краулер легко сможет создать сообщения, установить плагины или даже удалить данные»
В этой статье мы рассмотрим только возможность сканирования сайта, который находится под паролем.
Открываем программу → Configuration → Authentication → Forms Based
В появившемся окне нажимаем на "+ Add" в правом нижнем углу и вставляем ссылку на домен, который нам нужно просканировать и нажимаем OK.
Наша система сама подберет вам исполнителей на услуги, связанные с разработкой сайта или приложения, поисковой оптимизацией, контекстной рекламой, маркетингом, SMM и PR.
Заполнить заявку
12168 тендеров
проведено за восемь лет работы нашего сайта.
После чего появится всплывающее окно браузера, позволяющее войти в систему. В этом окне нам нужно ввести пароль для доступа к сайту (надеюсь он у вас есть) и затем войти в систему.
В результате успешного входа перед вами откроется ваш сайт. Если этого не произошло, то скорее всего вы ввели неправильный пароль, перепроверьте указанные данные и введите их снова.
Вводим домен, в который мы недавно зашли в браузере и начинаем сканирование. Теперь вы можете наблюдать за тем, как SEO Spider смело идет туда, куда ранее ему был запрещен доступ. Поздравляю, вы справились!
Если после всех настроек сайт все равно не сканируется, значит он либо закрыт для сканирования, либо нужно уменьшить скорость парсинга. На оба случая уже есть готовый материал. В начале сделайте всё, что описано в статье №1, если это не поможет, то возвращайтесь сюда и переходите к статье №2.
Статья №1-Как просканировать закрытый от индексации сайт
Статья №2- Как уменьшить скорость сканирования
