Мониторинг цен на продукты: 165 000 товарных единиц ежедневно

Клиенту нужно было регулярно сравнивать цены и наличие товаров в разных городах и сервисах доставки.

Каждый месяц в работу поступал новый файл примерно с 300 товарными позициями. Мониторинг требовалось проводить одновременно в 11 городах и 5 сервисах:

Ozon;

ВкусВилл;

Яндекс Лавка;

Пятёрочка;

Магнит.

Таким образом, один цикл мог включать до 16 500 сочетаний товара, города и сервиса:

300 товаров × 11 городов × 5 сервисов = 16 500 проверок.

Но основной проблемой был не сам объем данных. Для каждой исходной позиции требовалось подобрать и сохранить корректный аналог в конкретном сервисе, учитывать различия в упаковке и объеме, а также не терять ранее согласованные соответствия.

В итоге требовалось автоматизировать не только сбор цен, но и весь процесс подготовки, запуска и контроля мониторинга.

Мы разработали систему, которая автоматизирует работу с ежемесячными файлами и позволяет запускать мониторинг без постоянной ручной подготовки.

1. Автоматизировали обработку новых файлов

При загрузке очередного ТОП-300 система определяет, какие позиции уже известны, а какие появились впервые.

Для существующих товаров используются сохраненные ранее данные.

Новые позиции добавляются в процесс отдельно, без необходимости вручную сравнивать несколько версий Excel.

2. Сохранили базу согласованных аналогов

Для каждой позиции система хранит информацию об используемом аналоге:

• название;

• объем;

• ссылку;

• артикул;

• соответствие исходному товару.

Таким образом, согласованный аналог становится частью рабочей базы, а не остается в одном из старых Excel-файлов или переписке.

3. Автоматизировали подготовку запуска

Система самостоятельно формирует актуальный набор данных для мониторинга.

Не требуется каждый раз вручную:

• переносить аналоги;

• добавлять новые позиции;

• удалять временно неактуальные товары;

• проверять структуру файла;

• собирать отдельные версии под разные запуски.

4. Добавили выбор городов и сервисов

Мониторинг можно запускать для нужного набора параметров.

Например:

• один конкретный город;

• один сервис;

• несколько городов;

• определенная группа товаров;

• весь ТОП-300.

Это позволяет не запускать весь объем данных, если требуется проверить только отдельный сегмент.

5. Сделали повторные запуски

При регулярном мониторинге часть данных может не загрузиться с первого раза.

Причины могут быть разными: временная ошибка сервиса, изменение карточки, недоступность товара или технический сбой.

Вместо повторной подготовки Excel-файла мониторинг можно запустить еще раз по нужным параметрам.

6. Добавили логирование

Система фиксирует информацию о запусках и результатах обработки.

Это позволяет определить:

• какой запуск выполнялся;

• какие города и сервисы использовались;

• какие позиции были обработаны;

• где возникли ошибки;

• какие товары не удалось найти;

• какие данные требуют повторной проверки.

При большом количестве комбинаций это существенно упрощает контроль качества.

7. Настроили регулярное обновление

Мониторинг можно выполнять по расписанию.

В результате актуализация данных не зависит от того, подготовил ли сотрудник новый файл и не забыл ли вручную запустить очередной сбор.

Как изменился процесс

До автоматизации:

Новый ТОП-300 → сравнение файлов → поиск новых товаров → перенос аналогов → проверка ссылок и объемов → подготовка файла → запуск → поиск ошибок → повторная подготовка

После автоматизации:

Новый ТОП-300 → загрузка в систему → база аналогов → выбор параметров → мониторинг → логирование → данные для анализа

Основное изменение заключается в том, что накопленная информация теперь используется при каждом следующем запуске.

Системе не требуется заново восстанавливать уже выполненную работу.

Что получает клиент

На выходе формируются структурированные данные для сравнения собственного ассортимента с аналогичными предложениями.

В зависимости от конкретного отчета используются:

• исходный товар;

• объем исходного товара;

• аналог;

• объем аналога;

• ссылка;

• артикул;

• город;

• сервис;

• текущая цена;

• нормализованная цена;

• дата сбора;

• статус обработки.

Данные могут использоваться для дальнейшего ценового анализа и формирования ценовых ориентиров по правилам клиента.

Результат

В результате клиент получил систему регулярного мониторинга примерно 300 товаров в 11 городах и 5 сервисах.

Автоматизация позволила:

• централизовать работу с ежемесячными файлами;

• сохранить историю согласованных аналогов;

• не терять данные при временном исчезновении карточек;

• учитывать различия в объемах упаковки;

• запускать мониторинг по нужным городам и сервисам;

• повторять сбор без ручной пересборки файлов;

• контролировать выполнение через логи;

• обновлять данные по расписанию;

• получать структурированные данные для ценового анализа.

Главный результат — мониторинг перестал быть последовательностью ручных операций с Excel-файлами.

Вместо этого появился воспроизводимый процесс: новый список товаров → автоматическая подготовка → мониторинг → контроль результатов → обновление данных.

Для регулярной работы с большим количеством товаров это позволяет не только сократить объем ручной подготовки, но и сохранить накопленную логику проекта при каждом следующем цикле мониторинга.