Как мы с помощью компьютерного зрения научили мобильное приложение распознавать номера и марки машин

Наш заказчик — владелец социальной сети, которая объединяет авто- и мотолюбителей по всему СНГ и постоянно растет.

Пользователи регистрируются в сети и указывают, каким транспортом владеют, это помогает владельцам сети привлекать рекламодателей для конкретной аудитории, предлагать актуальную информацию, проводить акции и розыгрыши, а также модерировать пользовательский контент.

С ростом числа пользователей верифицировать автовладельцев стало сложно. Владельцы соцсети посчитали, что пользователи не согласятся загружать в аккаунт соцсети документы, подтверждающие права владения автотранспортом, и решили использовать приложение с компьютерным зрением для верификации.

Заказчик изучил статьи на Хабре, посвященные компьютерному зрению, заинтересовался публикациями Doubletapp и обратился к нам с запросом.

Заказчику нужен был функционал, с помощью которого человек мог бы подтвердить, что он владелец авто или мотоцикла. Решили, что для этого будет достаточно, если владелец спереди или сзади сфотографирует свой мотоцикл либо машину с двумя открытыми дверьми, на фото определится номер, марка/модель и цвет. После этого информацию можно привязать к своему аккаунту.

Мы помогли автолюбителям получить доступ в профильную соцсеть без загрузки документов на личный транспорт. Это повысило их лояльность и сняло опасения по поводу возможных утечек личных данных.

В итоге пользователи в 3 клика регистрируются в соцсети, а владелец наращивает лояльную клиентскую базу и проводит рекламные кампании.

Теперь владельцы соцсети могут тонко настраивать подачу информации внутри сообщества и не допускать внутрь постороннюю публику, потенциальных нарушителей спокойствия, спамеров и т. д.

10 000 изображений было собрано для того, чтобы обучить модель.

734 часа работали над проектом.

Технологии: Python, FastAPI, PyTorch, YOLOv8, Kotlin, Swift

Мы собрали и обработали данные для обучения модели, которая умеет определять, что перед ней именно машина, это дверь именно этой машины, а не какой-то другой, это вид машины сзади, это — спереди, а это — мотоцикл. Затем мы разработали SDK (software development kit) — мобильную библиотеку, которую заказчик может интегрировать в собственные нативные приложения под iOS и Android.

Функционал SDK:

‣ открывает камеру, смотрит вперед, видит машину с открытыми дверьми, понимает, что это машина с открытыми дверьми, видит номер;

‣ посылает запрос на сервер (также сделанный нами), который обращается к third-party solution, решению от провайдера. Благодаря этому решению определяется номер и марка/модель авто.