Проект Watchmen для каршеринговых сервисов — инструмент обеспечения безопасности на дорогах

Watchmen — продукт для каршеринговых сервисов, позволяющий автоматически идентифицировать личность водителя, а также контролировать его поведение, чтобы предотвратить опасные и вредные ситуации.

В большинстве каршеринговых сервисов то, что происходит в салоне арендованного автомобиля, не поддается никакому контролю. Поэтому зарегистрированный пользователь может пустить за руль другого человека — не имеющего или лишенного права вождения, нетрезвого, несовершеннолетнего, и город превратится в трек для опасных гонок, грозящих смертью и увечьями абсолютно всем его жителям. Такие случаи уже были зафиксированы, и чтобы они не повторились, нужно было разработать инструмент, способный контролировать водительское поведения в каршеринговом авто.

Проект Watchmen был задуман и создан совместно с компанией DANNIE, которая отвечала за хардверную часть решения, а команда Doubletapp написала программную начинку девайса.

Как это выглядит? Это девайс с двумя камерами, который устанавливается на лобовое стекло. Он находится в салоне, одна камера смотрит внутрь салона, а другая — наружу; устройство работает под управлением Android.

Одним из требований заказчика была работа непосредственно на устройстве, так как стриминг видеопотока со множества машин является затратным, а обработка потребовала бы увеличения серверных мощностей. Эта задача была решена — все тяжелые вычисления выполняются прямо на устройстве, в духе подхода Edge AI.

Watchmen имеет следующий функционал:

Детекция лиц в салоне автомобиля.

Принятие решения о том, кто является водителем.

Сопоставление лица водителя с фото, которое загрузил пользователь каршериногового сервиса.

С помощью компьютерного зрения (не требует никаких дополнительных датчиков, кроме камеры) детектируется курение в салоне.

Передача видео с камеры на сервер, когда нужно проверить корректность работы системы.

Веб-интерфейс для деморежима — для продвижения решения каршеринговым сервисам. В нем в реальном времени идет стрим с камеры девайса, и также в реальном времени детектируется курение и подмена водителя.

Бэкенд и административная панель для работы с данными водителей.

Все описанные задачи детекции и распознавания решаются в офлайне на девайсе.

Использованные технологии: Python, Tensorflow, Tensorflow-Lite, Django, Kotlin (для Android приложения), WebRTC.

В плане разработки наиболее интересной задачей была реализация детекции сигарет. Для этого нами был собран датасет из тысяч фотографий людей, курящих в автомобиле, а также делающих похожие на курение действия, например, чешущих нос или кашляющих в кулак. Даже сотрудники компании внесли свой вклад, снимая на видео, как они курят в своих машинах. На основании этого датасета была обучена нейронная сеть, впоследствии портированная на устройство для работы в офлайне.

Разработана, протестирована, испытана действующая модель, готовый к использованию сервис представлен каршеринговым компаниям.

Watchmen вызвал большой интерес, на данный момент компания-клиент занимается привлечением инвестиций для дальнейшего развития продукта.