Ускорили поиск по записям корпоративных встреч с помощью ИИ

Клиент – российская телекоммуникационная группа, которая развивает инфраструктурные и цифровые сервисы для бизнеса и государственных организаций. В компании работает несколько тысяч специалистов, распределенных между центральным офисом и региональными подразделениями.

У клиента регулярно проходят онлайн-встречи с заказчиками, партнерами и коллегами. Записи этих встреч используются в дальнейшей работе, но до начала проекта найти конкретную информацию в них можно было только вручную.

Если сотруднику нужно было вспомнить или узнать, что обсуждали на встрече, какое решение приняли или кто взял задачу в работу, приходилось открывать запись и искать нужный фрагмент. На это уходило много времени, особенно если встреча длилась несколько часов.

В результате:

• сотрудники тратили время на просмотр длинных записей;

• найти нужную реплику было сложно;

• видеоархив практически не использовался как источник информации.

Заказчику нужен был инструмент, который автоматически переводил бы записи встреч в текст и помогал быстро находить нужную информацию по смыслу. Для этого компания обратилась к нам.

Задачи:

1. Автоматизировать загрузку видеозаписей, извлечение аудио и транскрибацию речи.

2. Реализовать поиск информации по смыслу, а не только по точному совпадению слов.

3. Создать интерфейс для просмотра транскрибаций и найденных фрагментов.

4. Развернуть решение внутри корпоративной инфраструктуры компании.

*Из-за соглашения о конфиденциальности (NDA) название компании не раскрывается.

Мы спроектировали систему из трех компонентов: сервиса фоновой обработки, веб-приложения для сотрудников и векторной базы данных.

Автоматическая обработка записей

Сотрудник загружает видеозапись встречи на диск проекта в Битрикс24. После этого обработка запускается автоматически.

Фоновый сервис через API получает файл и скачивает его на сервер. Затем из видео извлекается аудиодорожка и передается на распознавание речи. После транскрибации система сохраняет текст и данные, которые нужны для поиска и работы с исходной записью.

Векторный поиск по содержимому

Главная функция сервиса – поиск информации непосредственно внутри записей встреч. Пользователь вводит запрос в веб-приложении, а система ищет релевантные фрагменты среди уже обработанных записей.

В результатах отображаются:

• найденный фрагмент текста;

• время, на котором он находится в записи;

• информация об исходном файле;

• ссылка для открытия или скачивания записи.

Для поиска используется векторное представление текста. Поэтому система может сопоставлять запрос пользователя с фрагментами по смыслу, даже если формулировки отличаются. Для пользователя это означает, что не нужно вспоминать точную формулировку, которая прозвучала на встрече.

Например, сотрудник может искать информацию о сроках запуска проекта, даже если во встрече использовалась другая формулировка. При поиске система сопоставляет запрос пользователя с сохраненными фрагментами и выдает наиболее релевантные результаты.

Просмотр транскрибации

Поиск – не единственный способ работы с записью. Пользователь может открыть конкретный файл и посмотреть его полную транскрибацию непосредственно в веб-приложении.

При необходимости можно уточнить имена спикеров. Это особенно полезно для встреч с большим количеством участников: автоматическая транскрибация определяет реплики, но не устанавливает, кому они принадлежат.

Веб-приложение

Интерфейс сделали простым, чтобы сотруднику не нужно было разбираться в устройстве сервиса. Пользователю достаточно найти нужную информацию или открыть конкретную запись.

В веб-приложении доступны:

• поиск по содержимому встреч;

• просмотр результатов с привязкой ко времени;

• переход к исходному видео;

• просмотр полной расшифровки;

• уточнение имен спикеров;

• сохранение изменений.

Работа с записями не требует специальных навыков: сотрудник работает с записью в одном интерфейсе: находит нужный фрагмент, при необходимости проверяет его по видео и уточняет данные.

Локальное развертывание и безопасность

Отдельным требованием проекта был контроль над данными. В записях могли содержаться рабочие и конфиденциальные материалы, поэтому их нельзя было передавать во внешние сервисы.

Мы развернули решение на выделенном сервере с GPU. Обработка и хранение записей происходят внутри ИТ-инфраструктуры заказчика. Это позволяет использовать сервис для работы с корпоративными встречами, сохраняя контроль над данными на всех этапах обработки.

Сервис превратил архив видеозаписей встреч в рабочий источник информации. Теперь сотруднику не нужно помнить, на какой именно встрече обсуждался нужный вопрос или просматривать запись целиком. Руководители также могут быстрее погружаться в результаты встреч: найти основные решения, договоренности и задачи без просмотра видеозаписи.

Достаточно сформулировать запрос, после чего система находит подходящие фрагменты и показывает, где они находятся в записи.

В результате:

• сократилось время поиска информации в записях встреч;

• конфиденциальные данные остаются внутри ИТ-инфраструктуры компании;

• упростилась работа с видеоархивом как с источником рабочей информации.

В итоге записи встреч стали не просто архивом видео, а инструментом, из которого можно быстро получать нужную рабочую информацию.