Разработка MVP приложения (геймифицированное обучение) для проведения интерактивных дистанционных занятий

В процессе игры ребенок проходит по тропинке, выполняя определенные задания

Примеры оформления https://www.pinterest.ru/pin/[контакты будут видны после отклика]380/ или https://www.behance.net/gallery/[контакты будут видны после отклика]/Toki-English-Learning-iOS-App?tracking_source=search_projects_recommended%7Cgame

Ожидаемый функционал:

Программа должна идентифицировать в автоматическом режиме правильность выполнения упражнений (движение, мимика, жесты, звуки, в том числе их громкость и пр). Допустима небольшая погрешность к эталону.

Параметры эталона задаются учителем (видео и аудио). Ученик также видит и слышит себя на экране планшета. Важно чтобы ученик мог визуально контролировать отклонения от эталона (в виде индикации звука/громкости или границ контура жестов и мимики).

Для MVP будет достаточно разработать несколько примеров упражнений. После согласования результата с учителями (соответствии заданным критериям) Техническое задание будет дополнено новыми упражнениями (возможно около 100 и более) + расширен функционал.

Описание процесса:

1. Анимация мимики и озвучка звуков, а также анимация жестов (руками, пальцами и головой) - Педагог запишет видео с упражнениями, его необходимо изобразить в виде сказочного персонажа, но с человеческим лицом (обсудить, возможно оставим лицо учителя).

2. Идентификация жестов, мимики и звуков, издаваемых ребенком - ребенок должен повторить упражнение. При этом программа должна определять правильность выполнения. Программа должна показывать к чему должен стремиться ребенок при выполнении упражнения, например белым контуром должен показываться целевой контур губ/рта, а красным если он вышел за контур (это детали). Возможно будет необходимо задать допуск погрешности (+/-5% напр).

При правильном выполнении упражнения и количестве необходимых повторений программа выдает ребенку поощрительные бонус (звездочка, кубок, подарок и пр)

По звукам - тоже должен быть разработан механизм эталона (показать насколько близко к цели, например 90-95% или 40-50%)

Примеры необходимых технологий для пунктов 1 и 2

https://youtu.be/i9tjzr1KME0

https://www.noldus.com/facereader/gathering-data или https://www.noldus.com/facereader/baby-facereader

http://ceilonsoft.ru/index.php/skachat/programma-mimika-3-20-dlya-windows-32-kh-bitnoj-versii

https://www.youtube.com/watch?v=xMgoypPBEgw&feature=youtu.be

3. Возможность записи видео занятий для отслеживания прогресса и с целью того, чтобы педагог при необходимости просмотрел занятия и дал необходимые рекомендации. Но вообще программа должна сама определять готовность ребенка переходить к следующему уровню (т.е. если что-то не получается, то к следующему блоку упражнений не переходит). График прогресса - технический вопрос (обсудим позже)