Карточка тендера

Необходимо реализовать чат-бот для пользователей Битрикс24, который будет распознавать:

в какую службу формируется обращение (IT, АХО, бухгалтерия...);

тему обращения;

срочность задачи.

На основании полученной информации формирует задание на исполнителей в Битрикс24 по заданным шаблонам.

Для реализации классификатора чат-бота можно использовать внешний сервис (самописный или SaaS, такие как Сбер ГигаЧат).

В случае самописного варианта можно реализовать API сервис, использующий инференсную библиотеку (например llama.cpp) с загруженной языковой моделью (например Mixtral Instruct) и работающий по принципу «принимает на вход сообщение пользователя, отдает ответом классификацию», после чего дальнейшие действия будут определяться частью бота, работающей внутри Битрикса (задать уточняющий вопрос/создать задачу/другое).

При выборе языковой модели стоит учесть теоретически непредсказуемое поведение и протестировать разные сочетания моделей и системных промптов.

Модели с коммерческой лицензией можно найти на huggingface.

Предпочтительнее было бы использовать самописный вариант, развертываемый на собственных мощностях.

При этом важно, чтобы он работал независимо от Битрикса (на другой машине), т.к. ресурсы выделенные для Битрикса ограничены, в связи с чем при использовании совместно с ним, пострадает общая производительность, а за отсутствием видеокарты для аппаратного ускорения инференса, процесс обработки сообщения языковой моделью будет замедлен в разы (для сравнения: скорость инференса на среднем процессоре 3-5т/с, на видеокарте уровня RTX 3060: 30-40т/с).

Либо иной предложенный вариант.