RAG для IT-интегратора: семантический поиск, оценка LLM и интеграция с системами

📌 Проблема бизнеса

IT-интеграторы сталкиваются с неэффективным управлением технической документацией:

✅ Ручной поиск в тысячах PDF/DOCX-файлов занимал 65% времени инженеров.

✅ Устаревшие данные в разрозненных источниках приводили к ошибкам в решениях.

✅ Сложность выбора LLM — отсутствие инструментов для тестирования моделей в реальной инфраструктуре.

✅ Низкая скорость обработки запросов — до 10 минут на генерацию ответа.

💡 Решение – Модульная платформа RAG с интеграцией в корпоративную экосистему

Разработана система для семантического поиска, тестирования LLM и автоматизации работы с документами на базе внутренних IT-ресурсов компании.

 🔹 Технологический стек:

- Backend/API:

  • FastAPI — эндпоинты для загрузки документов, поиска, генерации ответов.

  • Самописная CRM на Django — управление ролями (админы, инженеры, тестировщики), запуск задач парсинга.

- ИИ/ML:

  • NLP-пайплайн — GPT-4 + Hugging Face Transformers (векторизация текста, генерация ответов).

  • Кастомная модель классификации — оценка релевантности фрагментов (PyTorch).

- Парсинг и хранение:

  • Парсинг PDF/DOCX через Python-библиотеки (PyPDF2, docx2txt) с валидацией структуры.

  • PostgreSQL — хранение документов, логов запросов, метрик LLM.

- Интеграции:

  • Telegram-бот на aiogram — уведомления о проблемах в документации, быстрый доступ к поиску.

  • REST API для подключения к внутренним CRM и BI-системам.

 🔹 Как это работает?

1. Загрузка и обработка документов:

   - PDF/DOCX парсятся в текст, разбиваются на чанки.

   - Sentence-BERT создает эмбеддинги, которые сохраняются в PostgreSQL (расширение pgvector).

2. Семантический поиск:

   - Пользовательский запрос → вектор → поиск топ-5 фрагментов через векторный индекс PostgreSQL.

   - GPT-4 генерирует ответ, объединяя контекст и запрос.

3. Тестирование LLM-моделей:

   - Через FastAPI подключаются модели (OpenAI, Llama 3, кастомные).

   - Система замеряет:

     ▪ Точность (сравнение с эталоном через cosine similarity).

     ▪ Производительность — время ответа, потребление RAM/VRAM.

4. Интеграция с CRM на Django:

   - Автоматическое создание тикетов при обнаружении устаревших документов.

   - Дашборды для анализа:

     ▪ Топ-10 проблемных разделов документации.

     ▪ Рейтинг LLM по отраслевым кейсам (например, «Настройка Cisco Nexus»).

5. Telegram-бот для инженеров:

   - Поиск документации через inline-запросы.

   - Уведомления о тестовых результатах LLM.

   - Экспорт ответов в Confluence/Jira через REST API.

🌟 Преимущества решения: 1. Глубокая интеграция с IT-инфраструктурой:    - Подключение к внутренним CRM, Confluence, Jira через REST API. 2. ИИ/ML-кастомизация:    - Fine-tuning моделей под отраслевую терминологию (Cisco, VMware, AWS). 3. Автоматизация через парсинг:    - Ежедневная проверка актуальности документов. 4. Аналитика в реальном времени:    - Дашборды в Django Admin + интеграция с Power BI. 5. Гибкость архитектуры:    - Замена LLM или векторной БД занимает менее 1 часа. Система стала основой для цифрового ассистента интегратора, сократив время onboarding новых сотрудников на 70% и обеспечив 24/7 доступ к актуальной документации.