Создание системы парсинга Telegram-каналов для лидогенерации в Битрикс24

Клиент, заинтересованный в ускорении процесса генерации лидов, искал инструмент для отслеживания активности в Телеграм-каналах с целью выявления потенциальных клиентов. Основная задача состояла в создании системы, которая могла бы анализировать сообщения в этих каналах, определять запросы, соответствующие возможностям компании, идентифицировать подходящие сообщения, формировать на их основе лиды и автоматически интегрировать их в CRM-систему Битрикс24 (коробка).

Итак, сначала мы разработали алгоритм взаимодействия модуля с пользователем. Вся работа строится на нескольких основных этапах:

1. Настройка модуля: Пользователь заполняет специальную форму, где указывает необходимые данные. Здесь можно задать:

- Ссылки на Телеграм-каналы, которые нужно мониторить.

- Список ключевых слов, которые модуль будет искать в сообщениях.

- Список стоп-слов, которые помогут отсекать нерелевантные сообщения.

2. Обработка лидов: Когда модуль находит сообщение, соответствующее заданным условиям, оно автоматически преобразуется в лид. В CRM Битрикс24 передается само сообщение, ссылка на него в чате и ссылка на профиль автора в Телеграме.

Лиды создаются автоматически через смарт-процесс, разработанный специально для этой задачи.

После того как алгоритм был определен, мы приступили к разработке самого модуля. Его основная задача — парсинг сообщений в Телеграм-каналах и передача релевантных данных в CRM.

На первом этапе интеграции мы задействовали онлайн-сервис https://tg.i-c-a.su/, который позволяет парсить данные из открытых каналов. С его помощью публичные Телеграм-каналы, указанные в настройках модуля, преобразуются в форматы RSS или JSON, что упрощает дальнейшую работу с данными. На выходе мы получаем набор данных, включающий последние 100 опубликованных сообщений.

Однако, этот сервис сейчас доступен только через VPN, и к тому же он не поддерживает работу с закрытыми каналами. Поэтому мы перешли на использование собственного API для Telegram, построенного на базе MadelineProto, что позволяет обойти эти ограничения и работать с закрытыми каналами напрямую.

Модуль обращается по заданным ссылкам и извлекает нужные данные из сообщений. Все теги и эмодзи удаляются из текста, чтобы обеспечить более точный анализ и удобное отображение информации в Битрикс24.

Модуль использует регулярные выражения для поиска ключевых слов в извлеченных сообщениях. Если ключевые слова найдены, сообщение дополнительно проверяется на наличие стоп-слов, чтобы исключить нерелевантный контент. Этот процесс также реализован на базе регулярных выражений. Если стоп-слова обнаружены, сообщение отбрасывается. Все релевантные сообщения собираются в массив, при этом система контролирует, чтобы не было дублирования информации.

После завершения парсинга, отфильтрованные данные автоматически передаются в Битрикс24. Учитывая, что наш модуль был разработан специально для коробочной версии, мы добавили функционал, который автоматом создает элементы и помещает их в специально созданный смарт-процесс. Ответственный за обработку лидов оперативно получает уведомление через роботов, что позволяет ему вовремя заняться новым лидом.

С внедрением разработанного модуля для Битрикс24 компания существенно упростила процесс генерации лидов. Автоматический парсинг Телеграм-каналов дал возможность выявлять потенциальных клиентов по заданным критериям, что значительно облегчило работу отдела продаж и повысило общую эффективность работы с лидами. Благодаря учёту всех ограничений и особенностей данных, система функционирует стабильно и надежно. Кроме того, была собрана база клиентов, регулярно публикующих заявки, что позволило установить с ними долгосрочное и взаимовыгодное сотрудничество.