✍ Если Screaming Frog не сканирует ваш сайт, попробуйте изменить агента в настройках. Также бывают моменты, когда смена User-Agent не помогает, так как сайт закрыт для индексации и в этом видео я расскажу вам как парсить такой сайт в Screaming Frog.
Также если и это вам не помогло, то попробуйте установить флажок в меню Конфигурация - Паук - Дополнительно - Разрешить файлы cookie.