HitFactor Shots Analysis — приложение для тренировок по практической стрельбе

В начале 2018 года в нашу компанию Doubletapp обратились чемпионы мира по практической стрельбе Алёна Карелина и Роман Халитов. В их виде спорта главный показатель — это хит-фактор: количество набранных очков деленное на время прохождения упражнения. Поэтому важно не только точно стрелять, но и делать это максимально быстро.

Мобильное приложение HitFactor Shots Analysis — профессиональный инструмент, который помогает спортсмену найти слабые места в своей технике прохождения упражнения и позволяет сравнивать себя с другими стрелками.

Оно распознает звуки выстрелов и стартовый сигнал начала упражнения, отображает их на временной шкале, что позволяет детально проанализировать каждое действие спортсмена в любой момент времени от начала и до конца.

Вы записываете на телефон видео прохождения упражнения, приложение анализирует его, отмечает на таймлайне звуки выстрелов, стартовый сигнал, считает интервалы между выстрелами. На основе этой информации можно понять, на какие движения вы тратите наибольшее время.

Также можно сравнить два видео: себя с самим собой или себя с другим спортсменом. Видео синхронизируются по сигналам старта, а на таймлайне можно увидеть сравнение скорости выстрелов в разные моменты времени.

Итоговое видео с анализом стрельбы можно сохранить в Full HD формате.

ПРОБЛЕМА: у профессиональных спортсменов по практической стрельбе огромное значение имеет скорость прохождения упражнения. Имеют значение даже десятые доли секунды. Необходим инструмент, который позволит очень точно сравнивать прохождение одного и того же упражнения себя с самим собой или себя с другим спортсменом. Такой инструмент позволит видеть в каких моментах другие стрелки тебя обгоняют и понимать почему это происходит. За счет этого техника стрельбы будет совершенствоваться.

Для решения этой задачи команда Doubletapp реализовала iOS-приложение, включающее в себя:

• Распознавание звуков выстрелов и стартовых сигналов из видео полностью офлайн на iOS-устройстве;

• Отображение распознанных звуков на временной шкале;

• Удобный интерфейс для сравнения двух видео с видимостью того, когда произошел каждый выстрел и сколько времени было между выстрелами;

• Возможность сохранить итоговое видео для анализа стрельбы.

Распознавание выстрелов по звуку может показаться простой задачей, которую с некоторой точностью можно решить с помощью определения выстрела по громкости. Такое решение было получено в качестве бэйзлайна и оказалось очень не точным: больше половины звуков не являлись выстрелами. Среди громких звуков на стрельбище часто встречается речь, произнесенная возле камеры, лязг оружия. Также такой подход не помогал в распознавании стартовых сигналов.

Поэтому мы задействовали нейронные сети. Клиент предоставил нам более тысячи видео со стрельб, и мы разработали инструмент, который позволил нам быстро разметить в видео места выстрелов и стартовые сигналы. Разработанная нейронная сеть состоит из сверточных и рекуррентных слоев и работает поверх спектрограммы. Сеть была интегрирована в приложение с помощью CoreML и работает полностью в офлайн-режиме.

Метрики распознавания выстрелов считались с учетом того, что начало выстрела, определенное нейросетью, не должно отличаться от реального начала выстрела больше, чем на 50 миллисекунд: для клиента были важны доли секунды.

Приложение HitFactor:

• Распознаёт и отображает звуки выстрелов и стартовых сигналов на временной шкале.

• Показывает время между выстрелами в таблице.

• Сравнивает два видео, имея для анализа на одном экране результаты обоих стрелков.

• Работает полностью в офлайне.

• Сохраняет итоговое видео анализа стрельбы в Full HD.

В ИТОГЕ:

• Точность распознавания составила 99,1%;

• Полнота распознавания — 97,8%.

Где точность — это вероятность того, что найденный выстрел — это действительно выстрел, полнота — вероятность того, что существующий выстрел будет найден.

Статья о проекте попала в лучшее на vc.ru: https://vc.ru/tribuna/92856-kak-neyroseti-pomogayut-razvivat-navyki-po-strelbe-istoriya-ot-chempionov-mira

Проект отмечен Премией Tagline Awards 2019 — бронза в номинации «Лучшая мобильная утилита».