Как увеличить трафик с помощью SEO и не загубить его системой безопасности

Клиент пришел в агентство на SEO продвижение в феврале 2023 года. Компания создает украшения, которые добавляют красок в повседневность и будут уместны в разные моменты жизни: на работе, в окружении семьи и друзей, на прогулке с детьми.

Основная задача – привлечение целевого трафика и повышение позиций в выдаче. За год нам удалось выйти в топ-10 и увеличить органический трафик на 973%, но из-за ошибок при настройке систем безопасности сайт упал в выдаче, что привело к снижению трафика и конверсий.

Расскажем, что случилось, удалось ли нам исправить ситуацию и поделимся советами, как избежать подобных факапов.

В первый месяц работы столкнулись с проблемой. При анализе сайта выявили ошибку в структуре размещения товара. Один и тот же товар отображался в разных категориях под разным URL. Данный факт негативно влиял на ранжирование: такие товары выбивают друг друга из индекса поисковых систем.

Для решения проблемы сделали следующее:

– вынесли все товары в одну категорию;

– заменили прошлые ссылки на товар в остальных категориях на актуальные;

– настроили 301 редиректы со старых URL на новые;

– заменили все ссылки на карточках с параметрами в URL на корректные без включения параметров;

– удалили неактуальные директивы и добавили директивы для закрытия страниц фильтрации в robots.txt;

– открыли для индексации часть страниц, которые раньше были скрыты. 

Когда корректному индексированию ничего не мешало, мы создали порядка 80 посадочных страниц для привлечения ранее не охваченного целевого трафика.

Еще до нового года клиента беспокоили наплывы роботов. Мы об этом знали и уверяли, что ситуация под контролем, но по просьбе клиента порекомендовали несколько сервисов по безопасности сайта. С января 2024 года клиент подключил Cloudflare, а уже спустя две недели показатели начали падать. 

Первый откат по трафику произошел 14 января. Искали проблемы в работе сайта, но не обнаружили того, что могло повлиять на отвал трафика. При ручном проверке нашли – некорректно работали все теговые страницы. 

Все ссылки одинаковые на разных тегах

На мобильной версии ссылки стали не кликабельны, а поскольку 80% трафика шло с мобильных устройств, это стало критической ошибкой

Вместе с этим при выгрузке нового товара некорректно отображались фильтры на некоторых теговых страницах. После всех исправлений трафик начал понемногу восстанавливаться, но ненадолго. Вторая волна падения произошла в начале февраля. Снова начали искать ошибки, из-за которых мог так резко обвалиться трафик.

Выяснили, что при настройке безопасности через сервис, подрядчики закрыли доступ к сайту всем ботам. Пользователи видели и открывали сайт, а роботы поисковых систем нет и при обходе определяли все страницы как 403 ошибки и выкидывали их из индекса.

Мы оперативно составили техническое задание и передали клиенту, чтобы он внес исправления. После подрядчик разрешил обход для ботов поисковых систем, но проблема решилась не полностью. Поскольку доступ к парсингу был запрещен клиентом, мы опирались только на данные официальных сервисов: Я.Вебмастера и GSC. 

Через некоторое время с помощью Я.Вебмастер обнаружили, что при посещении страниц пагинации робот получает ответ 404 и доступ к запрошенному ресурсу запрещен. При том что аналогичная страница без пагинации отдает 200 ОК, что означает корректный ответ сервера. 

Ошибку исправили и спустя месяц трафик стал восстанавливаться. 

За год нам удалось выйти в топ-10 и увеличить органический трафик на 973%.