Сервис интеграций с CRM системами

Наш клиент - сервис для автоматизации онлайн маркетинга. Этот сервис позволяет компаниям, которые занимают онлайн коммерцией строить рекламные акции на основании профиля клиента или посетителя веб-сайта, таким образом формируя более точные и целенаправленные предложения. Обычно, подобные компании уже имеют объемную базу клиентов в CRM системах и эту базу нужно было импортировать в сервис в виде профилей посетителей для последующего анализа и обработки.

Так как пользователем сервиса для автоматизации является маркетолог или аккаунт-менеджер процесс импорта должен быть простым и интуитивно понятным. Самым распространенным форматом передачи данных были CSV и Excel файлы объемом до 500 Мб и содержащие сотни тысяч строк.

Для облегчения создания импорта мы спроектировали интерфейс в виде чат бота, который сопровождал пользователя через все этапы импорта. Пользователю требовалось загрузить сам файл, после чего указать как заполнить профиль посетителя совмещая атрибуты профиля с колонками из файла. При этом интерфейс может “помочь” пользователю автоматически сопоставив совпавшие атрибуты. Завершив настройку пользователь запускал импорт. 

Во время импорта можно наблюдать статистику - сколько данных уже было перемещено. По окончании импорта пользователь получает уведомление о готовности и может просмотреть окончательную сводку о проделанной работе.

Техническая реализация

Было очевидно, что обработка таких объемов данных должна происходить в фоновом режиме. При этом количество одновременных загрузок не должно влиять на общую производительность. Для решения этой задачи мы внедрили систему очередей и сервисов-обработчиков. Количество обработчиков растет или уменьшается в зависимости от размера очереди обеспечивая равномерность нагрузки.

За счет использования очередей система устойчива к ошибкам - даже если что-то случится в процессе, импорт можно будет возобновить после устранения проблем без потери данных. А адаптивное количество обработчиков позволяет обеспечить должную производительность даже в пиковую нагрузку при этом оптимально расходуя ресурсы системы.

Помимо этого, для более продвинутых клиентов мы предоставили API, чтобы они могли настроить регулярные автоматические выгрузки из CRM-систем.

В результате мы создали модуль, позволяющий импортировать существующую базу посетителей из сторонних CRM-систем, как вручную так и автоматически. Интерфейс легок и понятен, а создание нового импорта занимает несколько минут.