Прорыв в игровой индустрии: нейротехнологии для массового рынка

Brain.space — американский стартап, работающий на стыке искусственного интеллекта и медицины. Их основная продукция включает нейрошлем, который измеряет активность нейронных связей в мозге, предоставляя данные для аналитики с помощью Big Data и искусственного интеллекта.

Brain.space обратился к нам с запросом на разработку дашборда для визуализации данных, собранных с помощью их нейрошлема. Целью было интегрировать эту технологию в игровую индустрию для мониторинга активности игроков во время онлайн-игр.

Команда brain.space собирает огромные объемы данных. Дашборд – это как умная панель управления, помогающая хранить все эти данные в одном месте, анализировать их и визуализировать результаты в понятном виде. По сути, это инструмент, который помогает ученым лучше понять наш мозг. 

Поскольку стандартные коробочные решения не соответствуют специфике данных, мы приняли решение разработать дашборд с нуля, чтобы полностью соответствовать требованиям проекта. Хотим отметить, что у brain.space уже имеется функционирующий бэкэнд, который отвечает за сбор и отображение данных. Поэтому в рамках проекта мы осуществили глубокую интеграцию с существующей системой.

Для удобства работы с дашбордом создан наглядный и удобный интерфейс, отображающий данные о когнитивной активности игроков в режиме реального времени.

Также разработаны счетчики, показывающие активность нейронных связей пользователя, обеспечим запись трансляции и возможность перемотки видео. В интерфейсе отображаются ключевые показатели, такие как точки активностей и спадов.

Как уже упоминалось, интерфейс нужно было интегрировать с существующим бэкэндом, который отвечает за сбор данных о когнитивных нагрузках и физиологических реакциях.

В рамках проекта данные собираются с помощью следующих метрик:

1. Eye-tracker — отслеживает направление взгляда игрока.

2. Natural Language Understanding (NLU) — определяет эмоциональное состояние игрока.

3. Heart Rate Variability (HRV) — измеряет временные интервалы между сердечными сокращениями.

Эти данные визуализируются на экране в виде графиков, диаграмм и числовых значений.

На представленных изображениях мы наблюдаем автоматическое создание графиков, отображающих уровень стресса, когнитивной нагрузки, усталости (напряжения), фокуса и концентрации. Кроме того, отображены шкалы для этих показателей, показывающие максимальные и средние уровни. Выделены также временные отрезки в игре, когда показатели достигали минимума или максимума.

При разработке дашборда мы сосредоточились на создании четкой структуры и визуальной иерархии, тщательно разместив элементы интерфейса так, чтобы они не перекрывались и были легко воспринимаемы.

Выделили важные графики и значения разными цветами и размерами, чтобы быстро ориентироваться и сравнивать данные. А цветовое кодирование упростит понимание различных типов информации. 

Помимо этого, мы добавили тёмную тему интерфейса, чтобы у пользователя был выбор, и он мог пользоваться наиболее удобным для своего восприятия вариантом.

Благодаря такому подходу, дашборд предоставляет полную и ясную картину происходящего, что позволяет эффективно анализировать собранные данные.

Весь проект проходил на английском языке, что дало отличную возможность усовершенствовать навыки общения. Быстрая адаптация к языковым особенностям помогла нам быть гибкими и принимать решения на лету, без необходимости читать инструкции в стиле Google Translate. Работа в международной среде добавила новых ощущений и запоминающихся моментов в наш опыт.

Разработанный дашборд стал ключевым инструментом для визуализации данных. Теперь команда Brain.space может эффективно мониторить и анализировать когнитивные реакции игроков, что способствует улучшению игрового опыта и тестированию игровых гипотез.