On-premise чат-бот-платформа для анализа данных

Клиент: Газпромнефть-Снабжение

Задача: Придумать безопасное решение о внедрении генеративного искусственного интеллекта в процессы бизнес-аналитики, которое позволит обычным сотрудникам не только анализировать данные, но и находить необходимую информацию в базе данных без каких-либо знаний SQL

В результате проекта был создан on-premise (работающий на серверах клиента) продукт, представляющий собой чат-бот-платформу на базе GPT-4 со следующим функционалом:

- анализ данных по запросу пользователя;

- визуализация статистики;

- интеграция и работа с базой данных.

Ниже — о каждом пункте подробнее.

Это работало так. Пользователь загружает данные, которые хочет проанализировать, в чат-бот в виде Excel- или CSV-таблицы. Затем пользователь задает вопрос о своих данных или описывает статистику, которую желает получить. ИИ анализирует запрос и предоставляет необходимую информацию.

Искусственный интеллект позволяет пользователям на разговорном языке задавать вопросы о своих данных, искать причинно-следственные связи, генерировать и редактировать вычисления, создавать описательные резюме и отчеты.

Без какой-либо визуализации анализ больших объемов данных представляет собой сложную задачу. Платформа, разработанная Metamentor, позволяет визуализировать необходимую статистику по запросу пользователя. Для этого необходимо просто написать, что и в каком виде надо представить. Решение позволяет визуализировать как простые случаи — точечные графики, гистограммы, круговые диаграммы, — так и более сложные, например поверхностные диаграммы или различные матрицы ковариаций.

Сотрудники компании не всегда имели под рукой требуемые для исследования данные в виде Excel- или CSV-файлов. В таких случаях они обращались к отделу аналитики с просьбой достать необходимые данные. Отдел аналитики обычно сильно перегружен — срок выполнения простой задачи мог доходить до нескольких недель. Поэтому при разработке платформы была реализована интеграция с базой данных, чтобы предоставить обычному пользователю возможность находить необходимую статистику в базе без написания SQL-запросов.

Также была создана система ролей, которая не позволяет сотрудникам получать доступ к запретной для них информации. Пользователь имеет возможность просматривать только те данные, которые позволяет его роль.

Разработанный Metamentor продукт в первую очередь является помощником по работе с данными для не аналитиков: менеджеров, маркетологов, руководителей.

Задачи, решаемые с помощью генеративного ИИ описаны ниже.

Менеджмент: анализ отчётов, поиск бизнес-инсайтов, принятие управленческих решений.

Маркетинг: анализ и тестирование гипотез, управление рекламными кампаниями, сквозная аналитика.

Продукт: продуктовая аналитика, исследование аудитории, отслеживание и контроль метрик.

R&D-отделу необходимо было безопасное решение, так как речь идет о работе с данными. Поэтому перед командой Metamentor была поставлена задача создания продукта с «ИИ-сверхспособностями», но при этом без ущерба для конфиденциальности. Этого удалось достичь за счет следующей хитрости: когда пользователь загружает данные в платформу или делает запрос в базу данных, ИИ не имеет доступа к самим данным, а видит только названия полей в таблице. Поэтому можно гарантировать полную безопасность данных.

Как тогда искусственный интеллект анализирует данные? Когда пользователь вводит запрос или обращается к базе данных, ИИ генерирует Python или SQL, который применяется к таблицам / базам данных уже на серверах заказчика. Таким образом, ИИ никак не взаимодействует с самими данными.

Система настроенных промптов. 90% успеха работы с генеративным ИИ зависит от точности формулировки. Точность и правильность решения генеративным ИИ той или иной задачи сильно зависит от корректности формулировок пользователя. Именно поэтому иногда требуется перебрать множество вариантов запросов, дабы получить желаемый результат.

Чтобы улучшить этот процесс и сделать клиентский опыт более приятным, команда Metamentor проработала систему промптов, позволяющую пользователям быстро решать задачи, связанные с исследованием данных и поиском бизнес-инсайтов, не перебирая при этом десятки вариантов обращений к ИИ. Все уже настроено «под капотом».

Глубокое погружение в причинно-следственные связи. Система промптов также настроена таким образом, чтобы ИИ четко описывал все детали своих рассуждений. Это выражается в глубокой поэтапной детализации своих мыслей и объяснении логики, которая стоит за тем или иным бизнес-инсайтом или анализом.

Безопасность. Когда речь заходит о данных, компании не любят загружать их в облачные решения. Использование формата on-premise, при котором продукт запускается на серверах заказчика, позволяет полностью решить эту проблему.

В результате внедрения решения на базе генеративного искусственного интеллекта R&D-отдел крупной нефтегазовой компании получил:

- чат-бот-платформу по исследованию данных для менеджеров, маркетологов и руководителей;

- интеграцию решения с базой данных компании.

Результат в цифрах:

- на 30% снизилась нагрузка на отдел аналитики;

- в 2,5 раза уменьшилось время на анализ гипотез и поиск бизнес-инсайтов;

- в 3 раза выросла скорость работы с отчетами.