Как мы очистили клиентскую базу из 500 000 записей за 3 часа

Максимально быстро, качественно и безболезненно избавиться от дублирующих копий и сделать клиентскую базу максимально «чистой».

Мы разработали модуль поиска и объединения дубликатов для коробочных порталов Битрикс24. Он позволяет:

1. Искать дубликаты по любым комбинациям полей (включая пользовательские).

2. Объединять дубликаты с сохранением нужной карточки.

3. Переносить в карточку «оригинала» все связанные объекты: сделки, задачи, компании и другие сущности.

4. Выгружать результаты дедупликации в сторонние сервисы, включая 1С.

В разделе «CRM контакты» задаем параметры для поиска дубликатов на портале.

По кнопке запускаем задание на поиск дубликатов. Алгоритм обработки данных оптимизирован для работы с большими базами, что позволяет выполнять поиск быстро и эффективно. Получаем все необходимые данные по контакту за один раз.

Далее собираем массив всех контактов с уже найденными свойствами и имеем на выходе базу только необходимых данных.

Находим группы дубликатов по первому свойству в списке полей.

Затем производим фильтр уже по найденным группам, уменьшая выборку дубликатов.

Таким образом, процедура поиска дубликатов на клиентской базе более чем в 500 000 записей занимает всего порядка 2,5 – 3 часов.

Результаты дедупликации фиксируются в таблице и доступны для анализа или экспорта:

В случае необходимости можно визуально сравнить/проверить отработку поиска дубликатов, а также экспортировать результаты в таблицу excel.

Для удобства отображения прогресса на странице поиска дубликатов используется специальный компонент:

1) чтобы определить, запущена ли какая-то из операций,

2) либо чтобы отобразить прогресс в режиме реального времени.

Результат поиска дубликатов выглядит следующим образом:

Объединение записей происходит автоматически с переносом всех связанных сущностей (звонки, комментарии, встречи, письма и пр.)

Все результаты сохраняются. В случае необходимости можно убедиться в корректности отработки процедуры объединения дубликатов. Также данные из таблицы можно экспортировать в excel.

Модуль позволяет выгружать результаты дедупликации во внешние системы, включая 1С.

Пример из практики: у клиента данные о контрагентах поступают из нескольких баз 1С, где один и тот же клиент может иметь разные идентификаторы. Это приводит к появлению дубликатов. Модуль автоматически находит и объединяет такие записи по заданным параметрам (например, ФИО и дата рождения), передает данные о найденных и удаленных дубликатах во внешнюю базу, позволяя 1С произвести процедуру дедупликации в соответствующих базах.

1. Сокращение времени обработки данных. Процедура дедупликации вручную могла занять недели, а модуль выполнил её за 2,5–3 часа.

2. Минимизация человеческих ошибок при поиске и объединении записей.

3. Улучшение качества клиентской базы и увеличение точности аналитики и сегментации клиентов.

4. Менеджеры больше не тратят время на проверку и корректировку данных.

5. Полная синхронизация с 1С и другими системами без ошибок из-за дублированных записей.

6. Возможность экспорта данных о найденных и удаленных дубликатах для дальнейшего анализа и отчетов.

7. Возможность адаптации модуля под различные сценарии дедупликации и интеграции.

8. Поддержка индивидуальных комбинаций полей для поиска дубликатов.