Детекция

компания , обслуживающая 120 уличных камер на парковках и перекрёстках города-миллионника, — держал операторов, которые вручную считали машины для отчётов и фиксировали нарушения парковки, что было дорого, медленно и субъективно (два оператора по одному видео давали разные цифры), и хотел «нейросеть, которая сама всё считает»; я начал не с модели, а с аудита, и выяснил, что реальные камеры висят под разными углами, половина — старые с шумом и низким разрешением, ночью машина превращается в пятно с фарами, а публичные датасеты вроде UA-DETRAC на этой картинке работают плохо, поэтому первые две недели ушли на сбор ~5000 кадров с трёх типовых камер (день, ночь, дождь) и разметку вместе с операторами клиента — это спасло проект от модели, которая красиво работает в демо и разваливается на второй камере. Дальше я пошёл от простого к сложному: бейзлайн YOLOv8 на собранных данных дал mAP@0.5 ≈ 0.81, но плохо видел машины вдали и проседал ночью до 0.6, поэтому я добавил multi-scale обучение с увеличенным разрешением входа (подняло детекцию мелких машин), ночные и дождливые примеры с аугментациями (ночная точность выросла до ~0.75) и сравнил с RT-DETR — он был чуть точнее, но вдвое медленнее, что для потока с камеры неприемлемо, так что остался на YOLO, добавив вывод класса машины и confidence score. Вместо «полной автоматизации», которую просил клиент, я убедил его внедрить трёхуровневую схему (confidence >0.9 — автопринятие, 70% случаев; 0.6–0.9 — подтверждение оператором, 25%; ниже 0.6 — игнор или ручная проверка, 5%), а главным техническим решением стала обработка на edge, а не в облаке: модель запускается прямо на камерах с Jetson Nano и отправляет на сервер только метаданные (тип машины, время, ID камеры, уверенность), сырое видео никуда не уходит — ради скорости я сконвертировал модель в TensorRT/INT8, что дало ~25 FPS вместо 8 в исходном PyTorch. Через три месяца операторы перестали вручную считать машины (высвободилось ~60% их времени), доля ошибочных штрафов упала с ~15% до ~4%, отчёты по загруженности перекрёстков строятся автоматически раз в час, система масштабировалась на 40 камер из 120, а экономия на операторах и рост собираемости штрафов окупили проект примерно за 8 месяцев; главный вывод — решающий вклад дал не выбор модели, а сбор данных с реальных камер и настройка под железо, плюс готовность говорить клиенту «нет» на полную автоматизацию, потому что человек в цикле на старте не тормозит проект, а спасает его от юридических и репутационных рисков.

Решение в проекте свелось к трём ключевым шагам: вместо «готовой модели из коробки» я сначала собрал собственную выборку с реальных камер клиента (~5000 кадров день/ночь/дождь) и разметил её вместе с операторами, чтобы модель училась на тех условиях, в которых ей предстоит работать; затем выстроил модель от простого к сложному — бейзлайн YOLOv8, multi-scale обучение с увеличенным разрешением входа для мелких машин вдали, ночные и дождливые примеры с аугментациями, отказ от более точного, но вдвое медленного RT-DETR в пользу предсказуемой скорости, плюс вывод класса машины и confidence score; а на внедрении убедил клиента отказаться от полной автоматизации и сделал трёхуровневую схему (confidence >0.9 — автопринятие, 0.6–0.9 — подтверждение оператором, ниже 0.6 — ручная проверка) с обработкой на edge: модель работает прямо на камерах с Jetson Nano, отправляет на сервер только метаданные без сырого видео и сконвертирована в TensorRT/INT8, что дало ~25 FPS вместо 8 в исходном PyTorch.

Через три месяца после внедрения операторы перестали вручную считать машины — высвободилось около 60% их времени на другие задачи, доля ошибочных штрафов за парковку упала с ~15% (человеческий фактор) до ~4%, отчёты по загруженности перекрёстков строятся автоматически раз в час без участия людей, система масштабировалась на 40 камер из 120 (остальные подключим по мере замены старого железа), а экономия на операторах и рост собираемости штрафов окупили проект примерно за 8 месяцев.