Шок: инопланетяне учатся с детьми английскому в дополненной реальности! Интервью с KODE, Skyeng и SberDevices

AR-приложение «Английский с Элом» создавалось для детского направления SberDevices для продукта Kidsar — набор для приложений с дополненной реальностью. Игра разработана под специальное устройство — смарт-дисплей SberPortal.

Так выглядят устройство SberPortal с Kidsar и сама игра «Английский с Элом»

В общем, проект интересный, крупный и необычный. Команда SberDevices привлекла к сотрудничеству Skyeng и KODE, чтобы сделать большой проект для своей платформы и привлечь к ней внимание. KODE отвечали за разработку и выиграли с этим кейсом первое место в номинации «Чат-боты» нашей премии — Workspace Digital Awards.

Мы связались со всеми командами, чтобы рассказать самое интересное о проекте.

Поехали!

Юлия Мицкевич: — Конечно, мы были уверены в уникальности и отличной реализации проекта. «Английский с Элом» — это проект, который совмещает голосовые навыки, дополненную реальность, увлекательную методологию изучения иностранного языка, отличный дизайн и сложную техническую реализацию.

Скриншот из VR-приложения «Английский с Элом»

Анастасия Рубель: — Верно. Мы делали приложение, которое может понравиться как детям, которые уже изучают английский в Skyeng, так и тем, кто еще не занимается в школе. В Skyeng у детских курсов есть свой почерк: узнаваемые герои, игры и интерактивные задания в уроках, уникальные иллюстрации. Именно эти практики мы применили в создании игры в качестве своеобразного «спойлера» того, что может ждать ребенка на уроках с преподавателем.

Анастасия Рубель: — Все уроки в Skyeng содержат игры, особенно те, что рассчитаны на детей дошкольного и младшего возраста. Каждый урок — это мини-сюжет, небольшая история про знакомых ребенку героев. Во время занятия преподаватель часто меняет активности, потому что концентрации внимания ребенка не хватит на то, чтобы двадцать минут делать одно упражнение.

Такой подход помогает поддерживать естественный интерес ребенка: урок превращается из скучной зубрежки в захватывающее приключение, ребенок с интересом следит за судьбой героев и ждет с нетерпением, что же произойдет с ними на следующем занятии. Со взрослыми тоже работает: гораздо интереснее помочь герою курса решить бытовые проблемы на английском, чем заучивать наизусть пятьдесят фраз, которые пригодятся в аэропорту или супермаркете.

Анастасия Никитина: Мы проводили очень много тестов с помощью детей сотрудников: выезжали в школы, где проводили исследования реакции детей, записывали видео. Дети дали нам много подсказок, благодаря чему мы смогли сделать проект еще увлекательнее для них.

Анастасия Рубель: Игра «Английский с Элом» создана для детей 6-11 лет. Она помогает им выучить популярные английские слова на разные темы.

Для игры понадобится SberPortal с набором Kidsar: это игровое поле с карточками и специальное зеркальце, благодаря которому камера смарт-дисплея «видит», что происходит на игровом поле. Вместо того, чтобы взаимодействовать исключительно с экраном планшета, ребенок взаимодействует с карточками: например, выкладывает из букв слова, изображения которых видит на экране. Или кладет перед планшетом карточку с картинкой того слова, которое услышал в игре.

Устройство SberPortal с Kidsar может считывать ответы ребенка, которые он выкладывает в карточках

После первого знакомства со словами, ребенок в игровой форме тренируется узнавать их на слух и в письме. Еще он учится «писать» их, выкладывая слова из карточек. Контроль не нужен: камера сама распознает, верно ли выложены карточки. Приложение предложит пойти дальше или попробовать снова. Родители могут настроить камеру и выложить первые карточки, но постоянная помощь родителей не нужна.

Анастасия Рубель: — Да. Эл родился в процессе создания уроков, чтобы помочь детям полюбить английский язык. Он марсианин, потому что нужен был кто-то, кто не знает английского языка. Эл изучает английский вместе с ребенком.

Эл — от слова «alien», инопланетянин. Конечно, варианты героя были разными, но милый инопланетянин покорил сердца всех. А историю «рождения» Эла во всех деталях можно почитать здесь.

Анастасия Рубель: — Эл «родился» спонтанно, когда в Skyeng искали персонажа, которого дети полюбят настолько, что будут ждать встречи с ним (и с английским) как с лучшим другом. Хорошо созданный виртуальный персонаж — это узнаваемый образ, который помогает увлечь детей. С этой задачей Эл справляется на отлично.

Так выглядит Марсианин Эл, который учится английскому вместе с ребенком

В конкурсе на персонажа уроков кого только не было: попугаи, щенки и котята, монстрики и динозавры, и даже морковка. Но сейчас кажется, что инопланетянин — лучший вариант. Он тоже пока не знает английский, он любопытный и эмоциональный, с ним все время что-то случается. Он не поучает, а сопровождает детей в изучении языка.

Анастасия Никитина: — «Английский с Элом» — это одно из первых приложений, сделанных специально для SberPortal и набора Kidsar. Продукт должен был стать не просто обучающим помощником для детей, но и показать все возможности нового умного устройства Sber, привлечь к нему внимание детско-родительской аудитории. В разработку приложения была вовлечена не только компания Skyeng с ее методологами и дизайнерами KODE, но и команды SberDevices, Sber AR/VR Lab и Лаборатории геймификации Сбера.

Первые версии приложения тестировались KODE на ранних версиях SberPortal — продукт создавался параллельно с разработкой самого устройства. Конечно, не вся документация была готова. В этом состояла основная сложность — KODE приходилось идти местами на ощупь, давая обратную связь о работе платформы разработчикам SberDevices.

Анастасия Рубель: — Пока у команды SberDevices нет цели масштабировать проект, поэтому какие-то нововведения не планируется.

Анастасия Рубель: — В среднем сеанс длится 14 минут, что очень немало.

Анастасия Рубель: — Таких планов нет. Важно понимать, что невозможно линейно перенести продукт на другие поверхности — например, на ТВ. Пользователи ТВ ожидают от гаджета совсем других функций, нежели от мобильного приложения или смарт-дисплея.

Кроме того, телевизор — это гаджет общего доступа, его могут смотреть сразу несколько членов семьи, вокруг могут быть посторонние шумы, поэтому если бы мы хотели адаптировать игру под ТВ-формат, нам пришлось бы сильно переработать механику и технологию.

Анастасия Рубель: — Мы знали, что у KODE есть экспертиза в разработке мобильных приложений. Проект для SberPortal — это APK-файл. По сути, Android-приложение. Кроме того, у ребят на момент старта проекта были все необходимые компетенции в VUI. Поэтому наш выбор пал на них и мы не пожалели. Ребята проделали большую работу.

Анастасия Рубель: — Все участники этого проекта были настоящей командой, реализовавшей в сжатые сроки сложнейший технологический продукт. Могу сказать так: KODE можно доверять :)

Анастасия Рубель: — Многое зависит от возраста ребенка, но есть универсальные советы. Главная задача родителя — не убить естественный интерес ребенка к изучению языка: не давите и не настаивайте, если ему трудно или очевидно скучно. Подумайте, как можно сделать процесс интересным для ребенка: возможно, стоит добавить игр? Или заменить наскучившие игры новыми? Еще можно добавить английский в рутинные действия: например, учить новые слова на прогулке или петь песни на английском.

Если ребенок занимается английским в школе или на дополнительных занятиях, понаблюдайте: идет ли он на уроки с удовольствием? Охотно ли выполняет домашние задания? Если нет, возможно, стоит сменить преподавателя или курсы. И, конечно, не пренебрегайте онлайн-образованием: возможно, именно этот формат поможет поддержать существующий интерес или возродить угасший.

Игровые механики приложения вовлекают детей, побуждая в них интерес заниматься английским языком

Юлия Мицкевич: — Да, все верно. У нас был опыт работы с голосовыми технологиями. Например, мы делали МЭШ.Алиса для Дневника московского школьника, Эру Фараонов — игру для изучения истории Египта и Финбо — курс финансовой грамотности для подростков.

Юлия Мицкевич: — Уникальность проекта в том, что над ним работали сразу три большие команды:

• KODE занимались разработкой, проектированием сценариев прохождения игры и механики игры, а также разработкой интерфейса и голосового сопровождения игры.

• Skyeng взяли на себя методологию обучения детей английскому языку с учетом возраста.

• SberPortal— это смарт-дисплей, на котором и должен был развернуться весь сервис. Команда SberDevices работала не только над самим сервисом, но и над механиками дополненной реальности.

Нам было важно учесть и синхронизировать компетенции всех команд-участников, чтобы выпустить идеальный проект для обучения детей.

«Английский с Элом» — один из пилотных проектов SberDevices. Поэтому нам предстояло изучить сам портал и его движок, а еще протестировать работу и вместе с командой заказчика спроектировать необходимые модули для поддержки AR-функциональности. Пожалуй, в этом была основная нетривиальность задачи для нас.

Юлия Мицкевич: — Перед нами стояла цель — совместить игру и обучение английскому языку в одном приложении. Чтобы маленькие пользователи с интересом обучались, мы продумали игровые сценарии перехода между учебными блоками. Такая геймификация помогает детям не бросать изучение и с легкостью осваивать новое.

Оценить вовлеченность в игру помогает большое количество метрик. Чтобы все они четко и точно учитывались и аккумулировались, мы добавили фичи по сбору продуктовой аналитики в сам сервис. Это значит, что продуктовый аналитик может посмотреть вовлеченность участника игры, глубину его взаимодействия и другие «бенчмарки», необходимые для повышения эффективности взаимодействия участника с игрой.

Юлия Мицкевич: — Это не первый наш проект, где голосовой ассистент умеет распознавать голос, интонацию и особенности речи ребенка. Поэтому сложностей не было. Но, опять же, на своем опыте мы знаем, что и ребенок и голосовой ассистент могут понять не все, поэтому все шаги и требуемые действия мы выводили на экран в понятном для ребенка дизайне. То есть, если ребенок не понял персонажа, он может ответить ему, тапнув на нужную иконку на экране.

Юлия Мицкевич: — Наша команда реализовала MVP за полгода, а через девять месяцев состоялся первый релиз. Над проектом работала сборная команда, примерно в 25 человек. В пике разработки, со стороны KODE на проекте работало 12 IT-специалистов.

Юлия Мицкевич: — Конечно :) Каждый раз, когда нам нужно было тестировать работу устройства и самого приложения, мы погружались в детство и с удовольствием общались с Элом.

Супер! Что ж, благодарим вас за участие в интервью, вы показали отличный проект! KODE, ждем вас на WDA 2024 :)