Разработка ML-модели для автоматизации проверки заказов с помощью компьютерного зрения

Мы - это digital платформа, которая цифровизирует услуги для грузовых автоперевозчиков.

Все услуги, которые оказываются водителям в пути через точки наших партнеров оформляются в виде заказов через наше мобильное приложение и, помимо выбора оказанных услуг, производится их фотофиксация.
Заказы с фото проверяются сотрудниками отдела контроля качества, для того чтобы минимизировать ручную обработку, мы сейчас находимся в поиске подрядчика для разработки модели для автоматизации проверки заказов с помощью компьютерного зрения.

Этапы процесса (AS IS):
1. Приём заказа. Регистрирует новый заказ в системе, вносит данные (номер автомобиля, вид выполненных работ и пр.).
2. В режиме реального времени производится фотофиксация: например, фото госномера автомобиля, фотографии до/после ремонта. Система сохраняет эти файлы через специальный модуль хранения.
3. Сотрудник отдела контроля качества проверяет в БД корректность введенных данных с фото ТС и фото оказанных услуг. При необходимости корректирует/удаляет услуги из заказа (если перечень оказанных услуг не совпадает с фото) или помечает заказ, как выполненный корректно.

Этапы процесса (TO BE):
1. Приём заказа. Регистрирует новый заказ в системе, вносит данные (номер автомобиля, вид выполненных работ и пр.).
2. В режиме реального времени производится фотофиксация: например, фото госномера автомобиля, фотографии до/после ремонта. Система сохраняет эти файлы через специальный модуль хранения.
3. Автоматическая проверка (CV). После загрузки файлов задействуется модель компьютерного зрения. Она автоматически обрабатывает изображения: распознаёт текст (гос. номер), сверяет их с введёнными данными заказа, проверяет наличие необходимых фотографий и оценивает качество изображений. Например, модель определяет, совпадает ли номер на фото с номером в заказе, читается ли СТС, сделан ли снимок нужного элемента после ремонта, нет ли явных дефектов.
4. Принятие решения (OK/ошибка). Система CV на основе анализа выдаёт результат для каждого заказа:

• Если все проверки пройдены (OK) – заказ помечается как проверенный и подтверждается автоматически без участия человека.
• Если обнаружена ошибка или неопределённость – система маркирует заказ как требующий внимания (например, несоответствие госномера, плохое качество фото, неверный ракурс или расхождение данных).

5. Эскалация при ошибках. Для помеченных заказов формируется уведомление/задача для сотрудника ОКК. Он получает всю информацию: сами изображения, результаты автоматической проверки, указание на предполагаемую проблему.
6.Ручная проверка. Сотрудник ОКК просматривает материалы проблемного заказа и принимает решение:

• Подтверждает заказ, если проблема ложная (false positive) – например, CV-система ошиблась.
• Либо фиксирует ошибку.
• При выявлении реального несоответствия (например, неверно указанный номер или некачественно выполненная работа) – инициирует коррекционные действия.

7. Завершение. В случае успешной автоматической проверки, либо после ручного одобрения заказ получает статус “OK” и может быть закрыт/передан клиенту. Все результаты проверки (автоматической и ручной) логируются в системе для последующего анализа.