MNELIQ (ранее BRNX.ai) — платформа когнитивных упражнений с дополненной реальностью

Разработать приложение для проведения когнитивных упражнений, объединяющее задания на запоминание и поиск объектов в дополненной реальности, математические и визуальные задания, а также запись речи.

Предусмотреть настройку сложности, работу с несколькими участниками и централизованный сбор результатов для последующего анализа специалистами.

Мы реализовали Unity-приложение и реализовали серверную часть, объединив упражнения, управление участниками и сбор данных в единый сценарий проведения сессии.

• Упражнения в дополненной реальности. Пользователь размещает виртуальные объекты в реальном пространстве, запоминает их расположение, выполняет промежуточные задания и затем возвращается к поиску объектов в заданной последовательности. Приложение фиксирует действия и время выполнения.

• Настройка сессий. Реализовали выбор сложности, количества объектов, тематических наборов и промежуточных упражнений. Параметры позволяют менять нагрузку и состав заданий для разных участников.

• Математические и визуальные задания. Между этапами запоминания и поиска пользователь решает примеры и распознаёт объекты по трёхмерным моделям. Система сохраняет ответы и время реакции, показывает обратную связь.

• Запись речи. Добавили сценарий устного описания размещённого объекта: инструкцию, управление записью и отображение её состояния. Аудиофрагменты передаются на сервер и связываются с соответствующей сессией для последующего анализа.

• Работа с участниками. Предусмотрели вход по коду клиники, создание и выбор участника, привязку упражнений и результатов к его профилю. На одном устройстве можно последовательно проводить занятия с разными людьми.

• Серверная часть и отчёты. Реализовали API на FastAPI, хранение данных в PostgreSQL и веб-интерфейс просмотра сессий. Отчёт объединяет последовательность действий, длительность, показатели времени реакции, расчётные метрики и аудиозаписи.

• Сохранение и отправка данных. Для событий и аудиофрагментов предусмотрели локальные очереди и повторные попытки передачи при временной недоступности сервера.

• Обновление интерфейса. Обновили оформление экранов, добавили светлую и тёмную темы, адаптировали интерфейс под телефоны и планшеты. Сохранили совместимость с существующими идентификаторами приложения и серверными настройками.

Получили связку приложения с AR-упражнениями и серверной системы для хранения и просмотра результатов. Реализован полный сценарий: выбор участника, настройка занятия, прохождение упражнений, запись речи и формирование отчёта по сессии.

Специалисту доступны подробные данные о ходе выполнения заданий: ответы, время реакции, последовательность действий и связанные аудиозаписи. Эти данные создают основу для анализа отдельных сессий и сравнения результатов участника.