ИИ-агент поддержки: доля решенных обращений выросла почти в полтора раза

Крупный онлайн-сервис. Пользователи часто пишут в поддержку с одними и теми же вопросами про свой аккаунт: что изменилось, почему так и что делать дальше. Ответ зависит от данных конкретного человека, поэтому бот с готовыми ответами здесь не подходит. Нужен был агент, который сам смотрит данные пользователя и отвечает только тем, что точно знает.

Сделал агента целиком, от доступа к данным до проверки качества.

Агент получает данные пользователя через отдельные инструменты. Для них я сделал внутренние методы в сервисе.

Собрал свою базу знаний с поиском по смыслу. Разметил документы, сравнил несколько вариантов разметки и оставил тот, с которым агент находит ответ чаще.

Настроил агента так, чтобы он не выдумывал ответ, если его нет в базе, и не рассказывал, как система устроена внутри. Закрыл попытки обмануть агента через текст сообщения и ограничил историю диалога, чтобы ошибка в одном ответе не тянулась дальше.

Для проверки собрал набор контрольных вопросов. Ответы на них оценивает отдельная модель, так что каждую новую версию агента можно сравнить с прошлой.

Агент работает в продакшене и каждый месяц ведет сотни диалогов. После перестройки поиска доля решенных обращений выросла почти в полтора раза, а ответов «не знаю» стало заметно меньше. На контрольном наборе больше 80% ответов получают оценку 8 из 10 и выше.