Тендеры и лиды
Информация
Вчера помощник аккуратно собирал сводку по клиенту. Сегодня пишет быстрее и убедительнее, но иногда пропускает ограничение из переписки. Такое изменение легко не заметить, если оценивать только впечатление от ответа.
🔎 Запишите, что именно изменилось
На результат влияют модель, инструкция, доступные источники, порядок обработки и подключённые инструменты. Если поменять всё одновременно, причина ухудшения останется неясной.
Для сравнения сохраните версии настроек, дату и описание сценария. Не нужно помещать в журнал секреты или лишние клиентские сведения. Для проверок используйте согласованный обезличенный набор с достаточным контекстом.
🧪 Подготовьте небольшой эталон
Возьмите, например, 15 рабочих случаев: пять обычных, пять с неполными данными и пять с противоречиями. Такой набор — стартовый инструмент, а не статистическое доказательство надёжности.
Для каждого заранее определите ожидаемое поведение. Какие факты обязательны? Где нужна ссылка? В какой ситуации следует уточнить информацию? Какое обещание или действие недопустимо?
Если дата встречи неизвестна, правильный результат — запрос уточнения. Выдуманная дата остаётся ошибкой, даже когда остальная сводка написана хорошо.
🧮 Условный пример
Наша система сама подберет вам исполнителей на услуги, связанные с разработкой сайта или приложения, поисковой оптимизацией, контекстной рекламой, маркетингом, SMM и PR.
Заполнить заявку
13801 тендер
проведено за восемь лет работы нашего сайта.
Старая версия прошла 13 из 15 случаев, новая — 14. Но единственная ошибка новой версии: она пообещала клиенту срок, которого нет в источниках.
Средний результат улучшился, а важный риск вырос. Команда может считать такое обещание критической ошибкой и не принимать обновление до исправления. Правило должно быть установлено заранее, а не после знакомства с итоговыми цифрами.
📋 Сравнивайте работу целиком
Кроме фактов проверьте сохранение ограничений, корректное указание неизвестного и фактический результат разрешённого действия. Если модель пишет «задача создана», нужна проверенная запись с нужным исполнителем и сроком.
Добавьте время с учётом проверки человеком и долю ответов, которые пришлось переделывать. Прогоните одинаковые случаи несколько раз: один удачный ответ не показывает устойчивость.
Документация Anthropic рекомендует измеримые критерии и разные способы оценки. Выбор критериев для вашей CRM остаётся задачей команды.
🛠 Решение после проверки
Запишите: что изменили, какие случаи проверили, какие ошибки нашли и кто принял результат. Критические сбои разбирайте отдельно от стилистических замечаний.
Если сценарий перестал проходить приёмку, приостановите именно затронутое действие и передайте работу человеку. Возможность вернуть предыдущую конфигурацию зависит от используемой системы; нельзя обещать её без проверки.
Это инструкция по оценке, а не утверждение о готовом тестировании, мониторинге или переключении моделей в Adaptum.
Выберите один регулярно используемый сценарий и составьте первые пять эталонных случаев. Чёткий ожидаемый результат позволит обсуждать качество предметно ещё до следующего обновления.
