Поиск информации по библиотеке знаний

Агентству необходимо разработать инструмент – чат-бота, который позволит сотрудникам быстро находить релевантную информацию в огромном массиве материалов агентской библиотеки. Основная идея — создание удобного поиска по базе данных с возможностью пополнения и обновления библиотеки, что особенно актуально в условиях быстроменяющегося рынка и постоянного поступления новых данных.

Основные компоненты задачи

Интерфейс и функционал поиска:

Веб-интерфейс. Пользователи вводят поисковые запросы через интуитивно понятный веб-интерфейс.

Отображение результатов. По каждому запросу система должна выдавать кратко сформулированный ответ, а также ссылку на соответствующий слайд или отрывок текста из исходных материалов. Если найдено несколько вариантов – система должна предоставить их все или отобрать несколько максимально релевантных вариантов, если их слишком много.

Модуль пополнения библиотеки:

В систему необходимо интегрировать отдельный сервисный раздел, позволяющий добавлять новые файлы (не более 200 файлов за раз) в индекс. Поддерживаемые форматы файлов – PDF и TXT.

Инструмент должен быть масштабируемым и предусматривать возможность загрузки дополнительных материалов помимо уже имеющихся.

Обоснование необходимости:

Сотрудники агентства тратят много времени на поиск информации в разрозненных источниках, что снижает их продуктивность и увеличивает риск ошибок.

Существующие системы часто не предоставляют удобных и быстрых средств для поиска, что затрудняет принятие стратегических решений. Разработка такого инструмента позволит значительно ускорить процесс поиска и повысить эффективность работы.

Технические и методические требования

Используемый стек технологий:

Рекомендуется использовать открытые (open-source) технологии, исключая применение проприетарных решений.

Решение должно быть построено таким образом, чтобы обеспечить возможность интеграции и масштабирования, а также оперативное обновление базы данных.

Параметры реализации:

Четкая документация и наличие комментариев в проекте.

Обоснованность выбранного метода поиска, возможность измерить результат работы с использованием конкретных метрик (например, точность выдачи информации – accuracy).

Использование актуальных данных для формирования ответов.

Общая архитектура решения

    Анализ требований и проектирование:

    На начальном этапе проводился сбор требований от конечных пользователей – сотрудников агентства. Определялись ключевые функции, такие как возможность поиска по текстовым данным, отображение релевантных фрагментов материалов и ссылки на исходные слайды.

    Разработка веб-интерфейса:

    Создан интуитивно понятный веб-интерфейс с полем для ввода поискового запроса. Пользователь получает краткий ответ, дополненный ссылками на конкретные слайды или отрывки текста, где содержится найденная информация.

    Индексация и обработка данных:

    В систему загружаются файлы формата PDF и TXT, которые проходят этап обработки и индексирования. Это позволяет быстро осуществлять поиск по большому массиву данных и возвращать максимально релевантные результаты.

    Интеграция и тестирование:

    Чат-бот интегрируется с корпоративной библиотекой материалов, что обеспечивает возможность оперативного обновления данных. На этом этапе проводятся тестирование и доработка алгоритмов поиска для минимизации ошибок и предотвращения галлюцинаций.