Тендеры и лиды
Информация
Автор статьи: Иван Манжетов, portfolio manager KODE.
Искусственный интеллект давно перестал быть экспериментальной технологией. Компании внедряют его в продажи, поддержку, маркетинг, HR, документооборот и другие процессы. Расчет понятен: сократить расходы, повысить производительность, разгрузить сотрудников и ускорить работу. Но далеко не каждый AI-проект дает тот результат, ради которого его запускали.
По данным Deloitte, только 25% компаний смогли перевести в промышленную эксплуатацию 40% и более своих AI-экспериментов. Остальные проекты либо не доходят до масштабирования, либо не приносят заметной пользы бизнесу.
И дело часто не в самой технологии. Проблемы начинаются раньше: компания выбирает нейросеть, хотя еще не разобралась с процессами, данными, ответственностью и правилами использования ИИ.
Я подготовил чек-лист с ошибками, которые стоит учесть еще до запуска проекта. Он пригодится и тем, кто только присматривается к ИИ, и тем, кто уже проводит первые эксперименты. Для каждого пункта добавил пример, который показывает, чем может закончиться его игнорирование.
Одна из частых ошибок: внедрять искусственный интеллект просто потому, что им уже пользуются конкуренты или потому, что «сейчас все идут в AI». Технология появляется, а на вопрос, какую проблему она должна решить, никто толком ответить не может.
До запуска нужно сформулировать конкретную цель и выбрать показатели, по которым команда будет оценивать результат. Например: сократить время обработки обращений на 30%; снизить стоимость обработки одной заявки; повысить NPS; увеличить конверсию в продажу.
Без таких метрик сложно понять, сработало внедрение или нет. Можно потратить несколько месяцев на проект, получить работающего AI-ассистента и все равно не знать, принес ли он компании хоть какую-то пользу.
Показательный случай произошел с Air Canada. Авиакомпания использовала чат-бота для общения с клиентами, но не ограничила круг вопросов, на которые тот мог отвечать самостоятельно. Бот сообщил пассажиру неверную информацию о льготном тарифе. Клиент купил билет, а позже обратился в суд. Суд обязал авиакомпанию компенсировать ущерб и указал, что ответственность за ответы чат-бота несет сама компания.
В чем ошибка: не были определены границы применения ИИ и критерии качества его работы.
К чему это привело: судебное разбирательство, финансовые потери и репутационный ущерб.
Что стоило сделать: заранее определить, какие задачи бот может решать самостоятельно, а в каких случаях обязан подключить сотрудника. Заодно установить метрики, по которым можно оценивать качество его ответов.
Даже хорошая модель будет ошибаться, если работает с устаревшими, неполными или противоречивыми данными.
Перед внедрением стоит проверить: насколько данные актуальны, есть ли дубли и ошибки, достаточно ли информации для работы модели, используются ли единые форматы хранения, кто отвечает за обновление данных.
Качество данных напрямую влияет на то, что пользователь получит на выходе. ИИ не исправит автоматически беспорядок, который уже есть внутри компании.
В одном из российских туристических сервисов генеративный ИИ начали использовать для подготовки материалов. В описаниях появились изображения достопримечательностей, которые не соответствовали реальным объектам. На зарубежном рынке похожая история закончилась еще интереснее: система придумала горячие источники в Тасмании, а пользователи приезжали посмотреть на место, которого не существовало.
В чем ошибка: материалы публиковались без проверки достоверности.
К чему это привело: пользователи получили ложную информацию, а сервис столкнулся с репутационными рисками.
Что стоило сделать: использовать ИИ для подготовки черновика, но все материалы, которые могут повлиять на решение клиента, проверять перед публикацией.
Даже если решение выглядит готовым, не нужно сразу подключать к нему всех сотрудников или клиентов. Разумнее сначала проверить систему на одном подразделении, группе пользователей или отдельном бизнес-процессе. Пилот позволяет увидеть ошибки на небольшом масштабе. Исправлять их после запуска на тысячу пользователей будет намного дороже.
McDonald's тестировал систему автоматического приема заказов в Drive-through. Предполагалось, что ИИ ускорит обслуживание и снизит нагрузку на сотрудников. Но система столкнулась с проблемами распознавания речи. Ей мешали уличный шум, акценты и нестандартные формулировки клиентов. Иногда ошибки получались почти комичными: например, чай мог добавиться в заказ девять раз подряд. Для клиента это уже не эксперимент с новой технологией, а просто плохой сервис.
В чем ошибка: систему недостаточно протестировали в разных условиях эксплуатации.
К чему это привело: ошибки в заказах, недовольство клиентов и дополнительные расходы.
Что стоило сделать: проверить решение в ресторанах с разной нагрузкой, шумом и поведением клиентов. Только после этого решать, готова ли технология к масштабированию.
Внедрение ИИ редко остается задачей одной команды. В проект обычно вовлечены бизнес, ИТ, аналитики, руководство и внешние подрядчики. Если человека, который отвечает за весь проект, нет, ответственность быстро размывается. Один подрядчик занимается моделью, бизнес ждет результата, ИТ решает технические вопросы, а решения по продукту принимаются слишком долго или не принимаются вообще.
У проекта должен быть конкретный владелец. Он отвечает за KPI, работу с подрядчиками, развитие системы, анализ результатов и решение о дальнейшем масштабировании.
Например, дизайн-агентство решило автоматизировать холодные звонки в B2B, где многое зависит от понимания бизнеса клиента и нормального человеческого диалога. Для звонков подключили ИИ-робота.
Он плохо отличал живых собеседников от автоответчиков, иногда зависал и терял нить разговора. С предложениями тоже были проблемы. В одном из случаев робот предложил провести дизайн-аудит конезаводу, хотя такая услуга никак не отвечала потребностям потенциального клиента.
Ситуацию усложняла постоянная смена подрядчиков. Каждый новый исполнитель начинал разбираться в системе почти с нуля.
В чем ошибка: внутри компании не было человека, который отвечал бы за развитие продукта и сохранял накопленную экспертизу.
К чему это привело: тратились время и бюджет, а система почти не развивалась.
Что стоило сделать: назначить владельца проекта внутри компании. Подрядчики могут меняться, но знания о продукте, целях и принятых решениях должны оставаться внутри.
Полностью исключать человека из процесса рискованно, особенно если решение ИИ влияет на деньги, клиентов или репутацию компании. Для многих задач лучше работает модель Human in the Loop. ИИ берет на себя рутинную часть работы: готовит черновики, классифицирует информацию, анализирует данные, предлагает варианты и рекомендации. Сотрудник проверяет результат и принимает финальное решение там, где цена ошибки высока.
Одна из компаний решила полностью передать нейросети создание изображений и описаний товаров для маркетплейса. В изображениях появились ошибки, а тексты начали приводить покупателей по нерелевантным поисковым запросам. В итоге возвраты товара выросли с 9–11% до 24%, а доля невыкупов увеличилась с 7% до 15%.
В чем ошибка: ИИ использовали как самостоятельного исполнителя без нормального контроля качества.
К чему это привело: ухудшился клиентский опыт, выросло число возвратов и появились прямые финансовые потери.
Что стоило сделать: поручить ИИ подготовку контента, но оставить финальную проверку за специалистами. Изменения можно было сначала протестировать на части карточек и посмотреть на конверсию, возвраты и невыкупы.
Ни одна модель не справляется одинаково хорошо со всеми запросами. Поэтому еще до запуска нужно определить ситуации, в которых ИИ прекращает действовать самостоятельно и подключает сотрудника. Такие правила особенно нужны для финансовых и юридических вопросов, конфликтных ситуаций, нестандартных обращений и случаев, когда модель сама не уверена в ответе.
Например, обычный вопрос о статусе заказа бот может обработать самостоятельно. Если клиент оспаривает списание денег или требует компенсацию, лучше сразу подключать человека.
Проблема с такими границами видна сразу в нескольких кейсах выше. Чат-бот Air Canada давал информацию, которая могла повлиять на покупку билета. Голосовой помощник McDonald's продолжал формировать заказ, даже когда неверно распознавал речь. ИИ для холодных продаж пытался поддерживать разговор, хотя явно не понимал контекст.
Автоматизировать можно многое. Но у системы должен быть понятный момент, после которого она перестает угадывать и зовет человека.
В AI-проектах легко увлечься техническими характеристиками. Насколько хорошо модель отвечает на вопросы? Как быстро генерирует текст? Какой процент точности показывает на тестах?
Для бизнеса важнее другое: что изменилось после запуска. Если сотрудники тратят на процесс столько же времени, число ошибок не снизилось, клиенты не стали довольнее, а стоимость работы осталась прежней, проект вряд ли можно считать успешным. Даже если внутри используется очень современная модель.
Есть несколько групп показателей, которые помогают это проверить.
Если ИИ внедряют для автоматизации рутинной работы, логично сравнить время выполнения задачи до и после запуска.
Можно измерять:
Наша система сама подберет вам исполнителей на услуги, связанные с разработкой сайта или приложения, поисковой оптимизацией, контекстной рекламой, маркетингом, SMM и PR.
Заполнить заявку
13691 тендер
проведено за восемь лет работы нашего сайта.
среднее время обработки заявки;
скорость подготовки коммерческого предложения;
время обработки обращения в поддержку;
длительность согласования документов.
Допустим, раньше сотрудник обрабатывал обращение 20 минут, а после внедрения ИИ тратит 12. Время обработки сократилось на 40%.
Это уже конкретный результат, который можно сравнивать с затратами на разработку и поддержку системы.
ИИ внедряют не только ради скорости. Во многих процессах не менее важно снизить число ошибок, которые возникают при ручной работе.
Можно отслеживать:
ошибки в документах;
процент неправильно обработанных заявок;
количество повторных обращений;
число возвратов из-за некорректного описания товара;
ошибки при классификации документов или обращений.
Такой показатель, например, помог бы намного раньше увидеть проблему в кейсе с автоматическим созданием карточек товаров.
Еще одна понятная цель автоматизации: сделать операцию дешевле.
После запуска можно считать:
стоимость обработки одного обращения;
стоимость подготовки одного документа;
стоимость привлечения лида;
стоимость оформления заказа;
расходы на одну типовую операцию.
Здесь важно не забыть про скрытые затраты. Сам ИИ может стоить недорого, но сотрудникам приходится тратить много времени на проверку его работы. Плюс есть сопровождение, инфраструктура и доработка модели.
Иногда процесс действительно становится быстрее, но дешевле не становится. И это тоже результат, который нужно видеть.
Ускорение внутренних процессов не гарантирует, что клиенту станет удобнее.
Поэтому после внедрения ИИ стоит следить за показателями клиентского опыта:
NPS;
CSAT;
рейтингом приложения;
количеством жалоб;
отзывами пользователей;
долей повторных обращений.
История Air Canada хорошо показывает этот риск. Бот может обслужить тысячу клиентов быстрее оператора, но одна ошибка в чувствительном вопросе способна привести к судебному спору и ударить по доверию к компании.
Поэтому скорость автоматизации нельзя оценивать отдельно от качества обслуживания.
Во многих проектах задача ИИ состоит не в том, чтобы заменить сотрудника, а в том, чтобы помочь ему делать больше за то же рабочее время.
Тогда можно смотреть:
количество обработанных заявок на одного сотрудника;
число подготовленных документов;
количество закрытых обращений;
объем выполненных операций за рабочий день.
Если человек стал обрабатывать больше задач, а качество работы не ухудшилось и ошибок не стало больше, значит технология действительно помогает.
Перед запуском пилота не нужно собирать десятки показателей. Достаточно выбрать 3–5 KPI, которые напрямую связаны с целью проекта, и зафиксировать их исходные значения.
Если задача состоит в том, чтобы ускорить поддержку, измеряйте время ответа, стоимость обращения и удовлетворенность клиентов. Если ИИ помогает работать с документами, смотрите на скорость обработки, количество ошибок и нагрузку на сотрудников.
После пилота эти показатели можно сравнить с исходными и решить, что делать дальше: масштабировать решение, дорабатывать его или отказаться от сценария, который не принес нужного эффекта.
ИИ сам по себе не делает процесс лучше. Результат появляется, когда понятно, зачем технология нужна, на каких данных она работает, кто отвечает за проект и по каким цифрам бизнес будет оценивать успех.
