«Вопрос про редфлаги в агентских кейсах. Есть ли способы убедиться, что результаты описанного проекта сильно не приукрашены авторами? »

Я считаю, что результаты описанного проекта не должны быть приукрашены. В целом, адекватно показывать какие-то цифры мы можем в двух случаях: во-первых, если есть согласие заказчика, а во-вторых — если сам проект в принципе можно оцифровать.

Когда мы говорим про брендинг, формулировки вроде «ребрендинг привёл к росту продаж на 150%» выглядят, на мой взгляд, некорректно. Брендинг или ребрендинг — это всегда часть комплекса мер, связанных с продуктом, маркетингом и продажами. Поэтому утверждать, что именно он привёл к конкретному бизнес-результату, по меньшей мере нечестно по отношению к команде заказчика.

Писать в брендинговых кейсах про цифры и результаты, выраженные в деньгах, мне кажется в корне неверным. Если у проекта появляются какие-то замеры спустя время — например, рост спонтанной узнаваемости или попадание в top of mind, — и есть сравнение «до» и «после», тогда об этом ещё можно говорить.

Если же речь идёт о performance-результатах, здесь цифры выглядят уместнее. Проверить их всё равно напрямую сложно, если не идти к заказчику, но, по крайней мере, в таких кейсах есть понятная привязка к метрикам.

Первый сигнал — это слишком красивые результаты без контекста. Когда пишут «увеличили конверсию на 300%», сразу хочется понять: с какой базы, за какой период, за счёт чего именно и что ещё менялось параллельно. Рост с 1 до 4 заявок тоже можно красиво упаковать в проценты. У тех же мобильных приложений можно посмотреть количество установок, динамику отзывов, и многое становится понятнее.

Второй редфлаг — это отсутствие причинно-следственной связи. Сильный кейс показывает не только итог, но и путь: какая была проблема, что именно сделали, почему выбрали такой подход и как измеряли эффект. Решали проблему повышения конверсии в покупку? Тогда где артефакты: CJM, A/B-тесты, результаты исследований, изменения в воронке?

Третий момент — это метрики, которые сложно проверить. «Стало удобнее», «выросла лояльность», «усилили бренд» звучит неплохо, но для бизнеса цель почти всегда одна — рост прибыли. В конечном итоге результат должен быть выражен в цифрах, а не только в формулировках.

Я обычно смотрю на внутреннюю логику кейса. Бьются ли между собой сроки, объём работ, состав команды и заявленный результат. Для достижения сильного результата обычно есть понятный путь: исследование рынка и конкурентов, аналитика текущего решения, внедрение метрик для оценки эффекта. В более технических проектах это могут быть ещё и оцифровка бизнес-процессов, схемы, спецификации и другие артефакты, которые показывают, что за кейсом действительно стояла серьёзная работа.

В этом году я состою в жюри Workspace Digital Awards, для меня это первый большой опыт оценки более 200 кейсов. В каждый я стараюсь погрузиться, чтобы корректно его оценить. Для этого я использую четыре фильтра:

1. Проверка на связность

Если я читаю кейс и вижу: агентство переписало 10 текстов, а продажи выросли в пять раз — это магия, а не маркетинг. Если усилия и примененные инструменты несопоставимы с заявленными результатами, значит, авторы точно приукрасили, такие примеры действительно есть и к сожалению, часто встречается в SEO-кейсах.

2. Точность результата

В качественном кейсе результат — это прямое следствие действий. Формулировки «увеличили видимость бренда» или «выросло число подписчиков» без конкретных показателей — явный признак, что результат постарались «притянуть за уши».

Мы в АЙNET за прозрачность и честность: когда мы внедряем клиенту наш сервис SmartErid для автоматизации маркировки рекламы, то показываем не «абстрактное удобство», а конкретное сокращение человеко-часов, экономию бюджета клиента и гарантию отсутствия штрафов.

3. Метод «Сыщика»

Как писал выше я пытаюсь погрузиться в проект, смотрю, как он реально работает, а не только на текст. Если в кейсе пишут про UX/UI, то я открываю сайт и с телефона, и с десктопа. Если я вижу кривую верстку, битые формы, то я занижаю оценку.

4. Вызов проекта

Успешный успех уже всем надоел, да и не бывает идеальных проектов, на каждом крупном проекте что-то всегда идет не так, и мне было бы интересно узнать о том, как команда справлялась с поставленными задачами. Например, когда в чат-боте для промо Cola Cosmic Taro у нас отвалилась возможность использовать материальную мотивацию и нам пришлось быстро пересобирать креативную механику вовлечения пользователей за двое суток. Вызов — да, но это и есть жизнь, которая показывает мощь команды.

Настоящий кейс — это не «красивая картинка» для портфолио, а честный рассказ о том, как агентство решило задачу клиента и с чем в работе оно сталкивалось. Все тайное рано или поздно становится явным, тем более если оценку кейсов делает эксперт в своей области.

Красные флаги, которые мы определили для себя о показателях релевантности кейса.

— в кейсе нет данных «до/после»;

— нет скриншотов из рекламных кабинетов или аналитики;

— отсутствуют ссылки на реальные ресурсы (сайт, соцсети, магазины на маркетплейсах); 

— нет погружения в предысторию, развёрнутого описания ниши, продукта, аудитории, компании;

— кейс повторяется на разных площадках, но авторы и агентства-исполнители разные;

— громкие показатели вроде «рост продаж в 7 раз за месяц» без бенчмарков и контекста. 

Доверять таким цифрам сложно. И такие кейсы вызывают больше скепсис, чем реальное доверие.

Экспертный маркер качества кейса — глубина погружения. Хорошее кейс показывает не только результат, но и путь: какие гипотезы проверяли, где ошиблись, как корректировали стратегию, какие тесты прошли. Также важно, чтобы были видны инструменты: таргетинги, креативы, механики и метрики по ним, чтобы понять, почему то или иное решение сработало.

Проверить кейс можно частично самостоятельно: посмотреть сайт и соцсети клиента, оценить активность и качество контента, проверить динамические метрики (поисковые запросы, упоминания), сравнить с бенчмарками по отрасли. Лучше сотрудничать с теми, кто показывает путь, ошибки и результаты в системе, а не просто красивые финальные графики. Так вы увидите как агентство подходит к решению задачи.

В публичных агентских кейсах почти никогда нельзя на 100% проверить результаты снаружи, и это нормально. Сам кейс почти всегда показывает только часть проекта, а не всю внутреннюю картину целиком. Поэтому я бы смотрел не столько на сами цифры, сколько на то, насколько кейс вообще позволяет в них поверить. Главный вопрос тут не «врут или нет», а прозрачно ли авторы показывают связь между своей работой и итогом.

Что стоит оценивать в таких кейсах: понятна ли исходная задача, объяснено ли, что именно делали, и достаточно ли логично связаны решения с результатом. Чем яснее показана связка «задача → решение → результат», тем выше градус доверия. 

А вот среди рэд флагов — это ситуация, когда кейс строится на громких выводах без контекста: непонятно, что именно измеряли, за какой период, относительно чего и почему этот эффект вообще можно связывать с работой команды.

Способы есть, но есть один нюанс. Сейчас объясню на пальцах где могут быть эти нюансы на нескольких классических примерах оценки агентских кексов:

1. Абстрактные цифры без контекста. Если в кейсе написано «конверсия выросла в 2 раза» — это красный флаг. Нормальная формулировка: «за период с 1 мая по 1 июля конверсия С0 выросла с 10% до 20% благодаря конкретным действиям». Разница очевидна.

Нюанс: крупные заказчики очень часто требуют подписать NDA и перед публикацией согласовывают кейсы. Текст проверяют юристы, служба безопасности, только бы ничего лишнего не сказать. Так что иногда бывает, что конверсия и правда выросла, а написать почему, на сколько и что в этом хорошего — нельзя.

2. Фокус только на верхней воронке. Агентство пишет про охваты и клики, но молчит о продажах и выручке? Скорее всего, работает на автомате и не погружается в продукт клиента. Запрашивайте данные о доходе и конверсии в продажу — если их нет, перед вами не полноценный кейс, а красивая презентация.

Нюанс: никакое уважающее себя агентство не будет раскрывать бизнес-показатели и конфиденциальную информацию своих партнеров. Вы же не хотите, чтобы агентство после успешной работы с вами ходило и рассказывало сколько выручки и единиц продукта вы получили с рекламной кампании? Поэтому рекомендую уточнять именно про путь клиента, как он был выстроен, какие были вызовы на каждом этапе. Это позволит понять уровень погружения и косвенно оценить на сколько цифры в кейсе правдивы.

3. Клиент пришёл — клиент ушёл. Обратите внимание на длительность сотрудничества. Клиент не будет платить агентству годами, если нет результата. Повторные проекты с одним брендом — сильнейший индикатор компетенции.

Нюанс: бывают проекты, ограниченные временным сроком, что и было вызвано прекращением сотрудничества. Также не редки случаи, что компании на своем пути развития чередуют формат инхаус команды с аутсорсом. У нас были такие кейсы в агентстве, в которых мы выстраивали работу как внешний подрядчик, затем компания создавала инхаус команду по нашим лекалам и соответственно сотрудничество прекращалось, но прекращалось на мажорной ноте.

Так что делать? Мой ответ — давайте тестовое с элементом аудита и изучите агентство, его репутацию. Аудит позволит понять компетенции агентства и возможность погрузиться именно в ваш проект, тестовое без данного формата как раз будет бесполезным. Агентство с репутацией не будет приукрашивать кейсы. Если агентство или его спикеры регулярно публикуются в СМИ (например, в Коммерсанте, например, как мы), выступают в образовательных учреждениях (например, как мы в МГУ), ведут соцсети (блин, опять мы), то доверять можно.

Самое важное — соотношение затраченного бюджета к полученным результатам. Как по мне, это вообще очень редко учитывается. Так сразу видно: одно дело, когда бюджет был небольшой, а результат на 100%. И другое, когда бюджет раздут, и результат на 300%. Поэтому важно смотреть не только на результат, а еще и на бюджет, за который он был сделан.

Второй момент — важно посмотреть, на каком этапе развития проекта был совершен кейс. Например, развить проект с нуля гораздо сложнее, чем масштабировать уже имеющийся.

Третье — важно посмотреть, какие именно цифры приведены в кейсе. Одно дело, когда нам показывают охваты или количество посевов. И совсем другое — когда мы видим, сколько было продаж, переходов, лидов и так далее. Если коммерческих метрик мало — вероятно, от нас пытаются скрыть коммерческий провал.

Четвертое — если какие-то цифры закрыты NDA, то важно посмотреть на соответствие креативов и выполненных задач той ЦА, на которую ориентирован проект.

Пятое — важно смотреть не только на сам кейс, а зайти прям в описываемые соцсети, блоги и т.д. Возможно, там уже всё плохо, а значит коммерчески кейс оказался неэффективным.

То, что агентство презентует свои работы и немного их приукрашивает — это нормально. Это не говорит о том, что оно пытается обмануть клиента. Скорее, оно показывает процесс в его идеальной версии: как бы строилась работа при идеальном клиенте и в идеальных условиях.

Из явных ред флаг можно выделить следующее. Если в кейсе проскакивает уничижительное отношение к заказчику — в духе «мы такие умные, а клиент своими правками мешал работать» — это сигнал, что агентство сфокусировано только на себе и не пытается понять, насколько результат вообще применим в реальном бизнесе.

А это критично. Огромное количество digital-решений в принципе не интегрируются в бизнес из-за ограничений:

• по персоналу
• по структуре
• по операционным процессам

Особенно в компаниях с историей, где уже сложился устойчивый паттерн работы. И ломать его под инструменты — чаще ошибка.

Наоборот, диджитал должен подстраиваться под текущие задачи бизнеса.

Если говорить о том, на что стоит смотреть в кейсах, помимо результатов (которые, к сожалению, не всегда можно публиковать), то:

Если результат есть в цифрах — это большой плюс, на него можно ориентироваться.

Но ключевое — это подача финального результата:

агентство говорит «мы сделали красиво»

или «мы решили задачу клиента, и он получил больше выгоды, чем заплатил».

Второй важный момент — это процесс работы:

• была ли предварительная аналитика
• насколько глубоко прорабатывалась задача
• как велась коммуникация с заказчиком

И самое важное — кто формулировал решения.

Агентство выступало как эксперт, который анализирует ситуацию и предлагает решение,

или как подрядчик, который просто исполняет задачи клиента.

От этого во многом зависит реальная ценность кейса.

И третий момент — это сам процесс работы: как агентство его описывает и насколько глубоко.

Важно, были ли сложные ситуации и как они решались. Потому что чем сложнее проект, тем больше нестандартных кейсов возникает. И здесь показатель — как агентство из них выходит.

Либо это гибкий, осознанный подход, либо просто стандартный шаблон, который, кстати, в ряде задач тоже может работать.

Поэтому всё, что вы видите в кейсе, важно примерять на свой запрос.

Явные преувеличения в публичных кейсах встречаются достаточно редко. Гораздо чаще за хороший результат выдают весьма посредственные достижения.

Если же говорить о «красных флагах», то в первую очередь нужно обращать внимание на даты и цифры. 3–4 года — это максимальный срок жизни большинства кейсов. Не имеют аналитической ценности и кейсы, в которых нет никаких цифр. Так можно оценивать дизайн интерьеров или работу веб-дизайнера. Для рекламы цифры — основной показатель. Наша специализация поисковое продвижение. Поэтому про него и поговорим. Если брать SEO, то занимаемые сайтом позиции в поисковых системах нужно рассматривать только как одну из ступенек на пути к результату. Смотреть нужно, как минимум, трафик. А лучше — лиды и продажи.

Как понять, релевантен ли для вас кейс по SEO? В первую очередь нужно смотреть категорию сайта. Сильно отличается продвижение интернет-магазинов, блогов, сайтов услуг и СМИ. Дальше — регион. Уровень конкуренции обычно напрямую связан с размером города: наибольший — в Москве. Также сильно отличается продвижение на всю Россию и в каком-то конкретном городе. С нишами всё проще: кардинальные отличия есть в медицинской тематике (стоматология, косметология, медицина) и в нишах, привязанных к небольшому району (например, салон красоты).

Как смотреть цифры? Прикладывать на себя. Например, в кейсе заявлен трафик 10 000 визитов. Средняя конверсия сайта услуг — около 2%. Это 200 заявок на услуги в месяц. Если у агентства на сайте средний тариф — 200 000 рублей в месяц, то одна заявка — около 1000 рублей. Окупится ли вам такая услуга? Да? Кейс ставите агентству в плюс. Нет? Пропускаете.

Ещё одним важным аспектом будет реальность предложенных цифр. Например, если указано, что для стоматологии, в которой (судя по сайту) максимум два кресла, привели за месяц 1000 заявок — большой вопрос, что с этими заявками делали эти стоматологи, и есть смысл уточнить, как они отнеслись к подобному обилию потенциальных клиентов.

Ещё один важный момент — кейсы под договором о неразглашении. К сожалению, сейчас немало просто придуманных кейсов, которые нужны, чтобы конкурировать за клиентов в определённых нишах. Без конкретного сайта кейс интересен разве что для понимания, какие подходы планируется использовать для продвижения в предложенной тематике.