Тендеры и лиды
Информация
По нашему опыту, у бизнеса рациональные ожидания от внедрения ИИ: передать алгоритмам повторяющиеся сценарии и сократить участие сотрудников в типовых задачах. В этой статье — последовательность шагов, которая помогает подобрать решение, оценить экономику и запустить пилот.
Для начала важно четко описать, что система будет получать на входе и выдавать на выходе. Например, на входе будут отзывы клиентов о товаре, на выходе — краткое резюме с тегами для карточки товара.
На этом же этапе технические специалисты определяют, как будут проверять качество. Метриками могут служить точность, полнота, доля корректных действий или другие показатели: это зависит от конкретной задачи.
Часть задач можно автоматизировать с помощью машинного обучения, компьютерного зрения и другого негенеративного ИИ. Такие модели часто не требуют дорогих видеокарт, могут работать на обычных серверах и дают значительную часть экономического эффекта. Например, помогают считать спрос или оцифровывать документы.
Генеративные модели подходят для работы с неструктурированным текстом, контекстом и большим количеством исключений.
Процесс с ИИ может быть полностью автоматическим: система принимает решение и применяет его, человек только контролирует качество. Сценарии с человеком в контуре предполагают, что ИИ готовит рекомендацию или черновик, а решение принимает сотрудник.
Дальше важно понять, какие источники данных участвуют в процессе, в каком формате они хранятся и как система будет к ним подключаться. На практике получается небольшая таблица, где для каждого источника указан формат, актуальность, ограничения по доступу и кто отвечает за содержание и правила использования.
Часто модель нужно подключить к внутренним знаниям компании. Это можно сделать с помощью нескольких методов. Численные и оперативные данные обычно подают через API или SQL-запросы, а текстовые знания — через поиск по базе знаний с генерацией ответов (RAG).
Цель прототипа — проверить логику и качество результата. На этом этапе производительность не критична. Например, прототип может обрабатывать одну карточку товара за раз, а не 150. Главное, чтобы система корректно решала задачу.
Параллельно с прототипом разработчики оценивают стоимость эксплуатации и помогают выбрать среду развертывания, где будут размещены компоненты системы. Основных вариантов четыре.
Собственные серверы и видеокарты стоят дорого, но дают самый высокий уровень контроля над железом и данными. Аренда выделенного физического сервера у хостингового провайдера тоже позволяет контролировать инфраструктуру и данные и стоит дешевле, чем первый вариант.
Облачные видеокарты дешевле первых двух вариантов, но и уровень контроля ниже, потому что инфраструктурой управляет облачный провайдер. Самый дешевый вариант входа — облачные большие языковые модели как управляемый сервис. Вместе с этим снижается и контроль над тем, где и как обрабатываются данные.
Наша система сама подберет вам исполнителей на услуги, связанные с разработкой сайта или приложения, поисковой оптимизацией, контекстной рекламой, маркетингом, SMM и PR.
Заполнить заявку
13470 тендеров
проведено за восемь лет работы нашего сайта.
Во многих сценариях, где нет персональных данных, но есть запрет на трансграничную передачу (когда данные обрабатываются на серверах, которые находятся за пределами страны компании), все эти опции потенциально приемлемы. Если в процессе участвуют персональные и чувствительные данные, компании чаще выбирают между собственным железом и арендой выделенного сервера.
Стоимость единичного обращения к системе тоже влияет на экономику решения. Она зависит от архитектуры: насколько сценарий стандартный, сколько моделей участвуют в обработке и сколько вычислений требуется для каждого запроса.
В расчет также входят параметры бизнеса: количество пользователей, общий объем взаимодействий в месяц, пиковая нагрузка и другие характеристики трафика. Чем выше нагрузка, тем заметнее влияние этих факторов на итоговую стоимость.
После запуска пилота на настоящих данных эксперты проверяют спорные кейсы и обновляют правила и приоритеты. Иногда само понимание процесса, который выполняет модель, меняется.
Чтобы избежать ситуации, когда улучшения становятся отдельным проектом, лучше заранее предусмотреть доступ к инструментам, где человек участвует в проверке и корректировке. Например, в Arize Phoenix или Langfuse.
Продакшен-версия отличается от прототипа тремя вещами:
Для генеративных моделей в продакшене часто еще добавляют фильтры входа и выхода, чтобы ограничить работу с персональными данными и нежелательным контентом.
Обычно после запуска специалисты отслеживают нагрузку, время отклика, качество ответов и затраты на использование модели. Для больших языковых моделей дополнительно контролируют объем токенов и скорость генерации.
Разработчики также настраивают механизм обновления версии, чтобы систему можно было улучшать без остановки процессов.
Внедрение ИИ — не универсальное решение для автоматизации процессов бизнеса. Если задача уже формализована и решается простыми правилами, генеративные модели могут только усложнить архитектуру и увеличить расходы. Подробно разобрали этот вопрос, а также особенности RAG, агентных сценариев и расчета стоимости ресурсов в этой статье.
