Корпоративный AI-ассистент с поиском по документам / RAG-платформа

Создать корпоративного AI-ассистента для работы с внутренними документами: регламентами, инструкциями, проектными материалами и базой знаний. Обеспечить поиск по смыслу, ответы на естественном языке и возможность проверить использованные источники.

Ключевое требование — сохранить конфиденциальность информации при использовании языковых моделей. Персональные данные и сведения, выделенные для защиты, не должны передаваться внешнему AI-провайдеру в исходном виде.

Разработана RAG-платформа, объединяющая управление документами, семантический поиск, диалоговый интерфейс и локальный контур анонимизации.

В рамках проекта:

• Организовано локальное хранение данных. Исходные документы, пользовательские данные и история переписки размещаются в инфраструктуре компании.

• Создан поисковый индекс. Документы разделяются на смысловые фрагменты и преобразуются в векторные представления. Для хранения и поиска используется PostgreSQL с расширением pgvector; эмбеддинги могут рассчитываться локально.

• Реализован подбор контекста для ответа. Система находит материалы, относящиеся к вопросу пользователя, и формирует контекст из выбранных фрагментов и истории диалога.

• Интегрирована анонимизация. Перед обращением к внешней модели запрос, найденные фрагменты и передаваемая история проходят локальную обработку. Обнаруженные сведения выбранных категорий — например, имена, контакты и идентификаторы — заменяются согласованными метками.

• Реализовано восстановление данных внутри системы. Соответствия между метками и исходными значениями остаются в инфраструктуре компании. После получения ответа значения могут быть восстановлены для пользователя без передачи таблицы соответствий внешнему провайдеру.

• Разработан диалоговый интерфейс. Поддержаны отдельные чаты, уточняющие вопросы, история взаимодействия и потоковая выдача ответа.

• Добавлены источники ответа. Пользователь получает сведения об использованных документах и может проверить исходный материал.

• Предусмотрено гибкое подключение моделей. Платформа может использовать внешнюю LLM с обезличенным контекстом или модель внутри инфраструктуры компании.

Создан единый инструмент работы с корпоративными знаниями: поиск по документам и подготовка ответов объединены в диалоговом интерфейсе.

Обеспечен контролируемый процесс взаимодействия с внешними моделями: выбранные чувствительные сведения заменяются до отправки, а исходные значения и соответствия меток сохраняются внутри инфраструктуры компании.

Пользователь получает содержательный ответ со ссылками на источники и сохраняет возможность проверить информацию по документам.

Подготовлена основа для подключения новых материалов и выбора моделей в соответствии с требованиями компании к размещению и конфиденциальности данных.