С помощью компьютерного зрения научили мобильное приложение распознавать номера и марки машин

Наш заказчик — владелец социальной сети, которая объединяет авто- и мотолюбителей по всему СНГ и постоянно растет.

Пользователи регистрируются в сети и указывают, каким транспортом владеют, это помогает владельцам сети привлекать рекламодателей для конкретной аудитории, предлагать актуальную информацию, проводить акции и розыгрыши, а также модерировать пользовательский контент.

Заказчик столкнулся с проблемой: с ростом числа участников сообщества верифицировать автовладельцев стало сложно, появилось много спамеров. Руководители соцсети не хотели терять авторитет в глазах аудитории, поэтому сначала планировали при регистрации требовать загрузки документов, подтверждающих право владения транспортом, но быстро убедились, что люди на это не соглашаются. Владельцы соцсети искали варианты, как не отпугнуть пользователей при регистрации, и выбрали способ верификации без загрузки документов — приложение с компьютерным зрением.

Решили, что для верификации будет достаточно, если владелец спереди и сзади сфотографирует свою машину с двумя открытыми дверьми, на фото определится номер, марка/модель и цвет. После этого информацию можно привязать к своему аккаунту.

Мы собрали и обработали данные и обучили модель, которая умеет определять, что перед ней именно машина, это дверь именно этой машины, а не какой-то другой, это вид машины сзади, это — спереди. Модель работает на устройстве пользователя.

Разработали мобильную библиотеку, которую заказчик может интегрировать в собственные нативные приложения под iOS и Android. С помощью разработанного SDK можно открыть камеру и направить на авто. Библиотека, используя обученную модель, распознаёт открытые двери, выделяет госномер и отправляет информацию на сервер.

Разработали backend, который обращается к third-party провайдеру и получает информацию о марке/модели авто и госномере.

Цифры проекта:

- 10 000 изображений было собрано для того, чтобы обучить модель.

- Уложились в менее чем 1000 часов в рамках строгого бюджета.

Технологии: PyTorch, YOLOv8, Kotlin, Swift, Python, FastAPI.

Изначально заказчик не планировал получить в результате сотрудничества именно SDK — запрос был на обучение модели. Но после обучения нужно было протестировать готовое решение, и техлид проекта предложил для этого написать мобильный SDK. В итоге заказчик получил в рамках оговоренного бюджета больше, чем планировал.

Благодаря нашей разработке сегодня пользователи в три клика регистрируются в соцсети, а владелец наращивает лояльную клиентскую базу и проводит рекламные кампании.