Минус 90% времени на рутину: как мы внедрили ИИ в работу QA-отдела

С ИИ наша команда начала знакомиться в 2023-м. И тогда он казался чем-то вроде темной комнаты: куда идти и что делать, непонятно. В отделе QA Kokoc Tech мнения разделились: кто-то относился со скептицизмом, кто-то с любопытством. Конечно, опасались, что в комнате скрываются машины, которые заменят инженеров. Но время расставило все по местам. Мы научились не просто ориентироваться в этой комнате, но и использовать ИИ как надежного партнера.

В статье я, Денис Тимошин, руководитель отдела QA компании Kokoc Tech, поделюсь опытом своей команды: как и с какими задачами помогает ИИ, и покажу, насколько это ускоряет работу.

С чего начался эксперимент

Сначала GPT-3.5 мы использовали как альтернативу поисковым системам и для личных задач. Составляли список дел, писали поздравления. Запрос за запросом лед недоверия таял. Нейросети становились умнее, а мы – опытнее. Но на этом этапе мы экспериментировали без системной работы.

Удобный список по которому потом можно сверяться

Прорыв случился, когда команда готовилась к внутренней аттестации QA-инженеров — «Скиллфесту». Тогда решили использовать ИИ как тренера: задавали темы, например, «Тестирование API» или «Работа с Jira», и нейросеть генерировала вопросы, имитирующие реальные задачи.

Инженеры давали ответы, а ИИ анализировал их на полноту, указывал на ошибки и предлагал рекомендации. Например, добавить проверку статус-кодов в API-тестах или уточнить критерии приоритизации багов.

ИИ может стать кем угодно. Тут стал учителем.

Подготовка к аттестации с ИИ дала результат: команда показала высокие баллы, а главное — освоила новые подходы к тестированию. Это убедило всех, что ИИ может быть не просто помощником в рутине, но и инструментом для роста экспертизы. После «Скиллфеста» мы начали внедрять его в ежедневную работу.

Ниже — конкретные задачи, в которых нам помогает ИИ. Заранее отмечу: нужно на практике подобрать нейросеть под цель. Мы для себя выбрали GPT-4, Claude, Grok и Gemini.

Чек-листы

Для начала решили отдать ИИ составление чек-листов, потому что эта задача отнимает много времени. Без нейросети путь у специалиста следующий:

1. Собрать требования — из ТЗ, макетов, устных уточнений.
2. Разделить на блоки — например, «Формы ввода», «Аккордеон», «Слайдер».
3. Определить типы проверок — критичные, второстепенные.
4. Составить список проверок — короткие пункты без деталей: «Проверить отображение компонента на мобильных устройствах», «Убедиться, что счетчик корзины обновляется при добавлении товара».
5. Добавить граничные условия — «Проверить ввод 0 товаров», «Проверить обработку 1000+ символов в поле».

Временные затраты специалиста и ИИ мы сравним дальше в статье. А здесь покажем результат. Чтобы получить чек-лист по вёрстке, мы задаём точный запрос

Наш промпт: Ты опытный тестировщик. Составь чек-лист проверки компонента 'Feature Box' в Storybook.

ИИ способен создавать почти все чек-листы сайтов, если в промпте четко описать требования. Например: «Составь чек-лист проверки формы регистрации на сайте. Учти: валидацию полей, обработку ошибок, отображение уведомлений, интеграцию с CRM».

Это работает, потому что нейросеть добавляет сценарии, которые человек может пропустить:

— граничные значения (ввод 50 символов в поле «Имя»),

— редкие кейсы (отправка формы при отключенном JavaScript),

— стандарты вроде GDPR (защита данных пользователей) или WCAG (доступность для людей с ограниченными возможностями).

Мы всегда дополняем генерацию ИИ нашими рабочими шаблонами. Конечно, бывают задачи, где без человека не обойтись — например, с уникальными сайтами с нетипичной логикой.

Тест-кейсы

Другая задача, с которой справляется ИИ, — написание тест-кейсов. Раньше это занимало много времени. Теперь мы описываем функцию в запросе, и нейросеть сразу предлагает основу: шаги проверки и ожидаемые результаты.

Промпт: Сгенерируй тест-кейс для проверки функции добавления товара в корзину интернет-магазина

Ответ хороший, но все равно внесли корректировки. Тестировщик добавил один шаг — «Выбрать размер». Это заняло не больше минуты.

Баг-репорты

На практике выяснилось, что ИИ хорошо справляется с большинством типов багов. Опять же, если тестировщик четко описывает проблему.

В целом нейросеть хорошо подходит:

Разместите
тендер бесплатно

Наша система сама подберет вам исполнителей на услуги, связанные с разработкой сайта или приложения, поисковой оптимизацией, контекстной рекламой, маркетингом, SMM и PR.

Заполнить заявку 13156 тендеров
проведено за восемь лет работы нашего сайта.

— для UI/UX-багов вроде нерабочих кнопок, смещенных элементов, проблем с адаптивностью;

— ошибок валидации — некорректной обработкой пустых полей, спецсимволов;

— стандартных функциональных багов — например, неправильного расчета суммы в корзине;

— проблем с интеграциями — ошибками API, отсутствием ответа от сервера.

Наш промпт: Напиши баг-репорт. Ошибка при оформлении заказа, воспроизводится на macOS, Safari.

С ИИ больше нет неполных баг-репортов, которые приходится уточнять много раз.

Раньше составление баг-репорта занимало до 20 минут, если нужно было подробно описать шаги воспроизведения. ИИ делает это за минуту.

Раньше составление баг-репорта занимало до 20 минут, если нужно было подробно описать шаги воспроизведения. ИИ делает это за минуту.
QA-инженер Дмитрий Полянсков

Но при сложных сценариях иногда требуется доработка. Например, если баг появляется только после пяти и более действий с определёнными входными данными. Сложнее всего ИИ обрабатывать ошибки, связанные с бизнес-логикой — они зависят от уникальных правил проекта, которые нельзя вывести из запроса. Также нейросеть не всегда справляется с субъективными проблемами — например, с оценкой некорректной анимации, которую сложно формализовать.

Тестовые данные

Данные — основа любого тестирования. Здесь ИИ тоже полезен: чтобы протестировать работу с большим объемом статей, достаточно сделать пару кликов и задать параметры: количество, размер, тематика.

Наш промпт: Создай 20 тестовых статей разного размера на тему «пластиковые окна и межкомнатные двери». Статьи должны быть разными по размеру и содержать заголовок, описание и по 2 тултипа с названием и описанием материала. 

ИИ генерирует реалистичные тексты с заголовками и описаниями. Раньше на подготовку тестовых данных уходил час, а то и два. С ИИ — пара минут и можно тестировать.
QA-инженер Вадим Полькин

В цифрах. Трудочасы ИИ vs трудочасы специалиста

Мы провели эксперимент. Один тестировщик писал документацию вручную, а другой использовал ИИ. Результаты наглядные.

Соринка в глазу ИИ: не все так идеально

Несмотря на впечатляющие результаты, ИИ — не волшебная палочка. Делюсь одной из галлюцинаций. Я проверял локализацию сайта и отправил ИИ скриншот интерфейса с просьбой проанализировать, есть ли на нем русские слова.

«Видишь суслика?..»

Галлюцинации ИИ можно победить с помощью хороших промптов. Мы не используем готовую базу, потому что каждый запрос уникален и зависит от задачи. Но есть правила, которые помогают избежать фантазий ИИ:

1. Конкретика вместо общих фраз. Не «Составь чек-лист для сайта», а «Составь чек-лист проверки корзины интернет-магазина».
2. Контекст. Например: «Ты — QA-инженер. Нужно составить чек-лист проверки формы регистрации: валидация полей, обработка ошибок, интеграция с CRM».
3. Рамки. «Предложи 5 тест-кейсов для кнопки „Заказать звонок„. Не используй сценарии с отключенным JavaScript».

Над некоторыми задачами после ИИ все-таки придется посидеть, какими бы удачными промпты ни были. Сгенерированные тест-кейсы и баг-репорты требуют доработки, как я говорил выше. ИИ может упустить нюансы бизнес-логики или предложить шаблонные решения, которые не подходят для сложных сценариев. Кроме того, остаются вопросы конфиденциальности — использование ИИ требует осторожного подхода к обработке и хранению информации, особенно в проектах с чувствительными данными. ИИ — наш помощник, но без экспертизы QA-инженеров не обойтись.

ИИ в QA-инструментах: удобные интеграции

ИИ интегрирован в некоторые инструменты QA. Мы в команде используем:

• Системы управления тестированием. Примером может служить Case, где ИИ создает автотесты на основе тест-кейсов.
• Инструменты для тестирования пользовательского интерфейса. Applitools использует компьютерное зрение, чтобы выявить визуальные дефекты.

Здесь ИИ обнаружил проблему с версткой после изменений

• Инструменты для создания рабочих пространств. Buildin.AI использует языковую модель на базе GPT-4 для чек-листов и оптимизации процессов.

Эти инструменты помогают автоматизировать рутинные задачи и освободить время для более сложных сценариев и аналитической работы. И вот наглядный пример.

Подытожим

1. Качественные запросы — основа полезной работы с ИИ. Чем точнее промпт, тем точнее результат. Как мы говорим в команде: «Хороший промпт — тот, после которого ИИ не додумывает за тебя».
2. В нашей практике ИИ помогает в QA-задачах — мы используем Case, Applitools, Buildin.AI. Но полную автоматизацию он не заменяет: нейросеть предлагает шаблонные решения и не учитывает контекст проекта.
3. Нельзя делегировать все задачи ИИ. Нейросеть дает шаблонные решения без понимания процессов и опыта тестировщиков. Люди нужны обязательно.

ИИ не замена тестировщикам. Это инструмент, который делает нашу работу быстрее. Главное — задавать правильные вопросы и помнить, что без экспертизы человека даже самая умная нейросеть остается просто строкой кода.

Это только часть того, что мы обсуждаем в Kokoc Tech. Заглядывайте в канал — там интересно.