Cultural Quest: AR-квест с компьютерным зрением в мобильном браузере

Cultural Quest превращает знакомство с культурой в игру через камеру смартфона. Участник ищет объекты и картины, повторяет позы и выполняет голосовые задания. Мы разработали приложение, которое открывается в мобильном браузере без установки, и инструменты для подготовки миссий. Важно было сделать задания интерактивными и оставить обработку видеопотока на устройстве пользователя.

Миссии через камеру

Разработали распознавание объектов и картин, сопоставление изображений, повторение поз и задания на соединение объектов. Для игрока камера становится способом взаимодействия с заданием, а не просто средством съёмки.

Обработка на смартфоне

Компьютерное зрение работает в браузере устройства. Видео с камеры остаётся на телефоне. Использовали TensorFlow.js и OpenCV.js, приложение выпустили в формате PWA для iOS и Android.

Голосовые задания

Интегрировали Deepgram для речевых сценариев. В приложении сочетаются визуальные миссии, голос и озвучка, поэтому задания можно строить вокруг разных способов взаимодействия.

Подготовка контента

Сделали административную панель: контент-менеджер настраивает миссии, эталонные изображения и позы, распознавание, озвучку и точки на карте. Для изменения содержания квеста не нужно переписывать приложение. Серверная часть использует Node.js, Prisma и PostgreSQL.

Запущена платформа культурно-познавательных квестов с заданиями через камеру и голос. Пилоты проходили в Сеуле, Дубае и Беркли.

Игроку достаточно открыть приложение на смартфоне. Контент-менеджер может готовить новые миссии в админ-панели, а видеопоток обрабатывается на устройстве и не отправляется на сервер. Один движок объединяет разные типы заданий и управление геолокацией.