ИИ-платформа MarQus повысила эффективность сортировки мусора в 2 раза

Сейчас большое внимание уделяется проблеме переработки мусора и максимизации использования вторичного сырья. В связи с этим остро стоит вопрос о повышении эффективности работы предприятий по сортировке твердых бытовых отходов (ТБО).

В России компании по сортировке мусора используют 2 основных решения для автоматизации:

1) Большие многостадийные линии по сортировке ТБО, их строительство требует очень больших инвестиций и площадей. Такое решение экономически целесообразно только для мегаполисов. Еще одно его ограничение — использование в основном иностранное оборудование.

2) Конвейерные линии, на которые подается мусор для ручной сортировки. Именно так работает подавляющее большинство небольших компаний по сортировке ТБО.

Эффективность в расчете на одного рабочего конвейерной линии крайне мала. По оценкам скорость сортировки с ограниченной для человека точностью достигает 27,8 единиц/мин при скорости конвейера V = 0,39 м/c. С учетом человеческого фактора реальные значения могут быть меньше в два раза. Человек не способен правильно определить, к какому классу мусора относится объект, не потеряв в скорости – возможности скорости работы человеческого глаза и мозга ограничены. Кроме того, при таком типе автоматизации есть физические ограничения по длине конвейера и количеству одновременно работающих на нем людей. А это становится стоп-фактором для масштабирования производства.

Таким образом, решение по автоматизации сортировки ТБО должно:

1) Значительно увеличить объемы и точность сортировки мусора в рамках конвейерной линии по сравнению с ручным трудом.

2) Требовать меньше инвестиций и производственных площадей, чем многостадийные аналоги.

3) Базироваться на российских компонентах и разработках.

ИИ-платформа MARQUS (sMARt QUalifier and Sorter) предназначена для детекции, распознавания и классификации твердых бытовых отходов по видеопотоку. Главной задачей MarQus является определение, классификация, трекинг и распознавание ТБО на ленте конвейера и передача полученной информации роботам-манипуляторам для последующей сортировки ТБО.

В основе нашего решения лежит технология распознавания материалов (Material recognition) на базе мультиспектральных данных объектов. Основываясь на отличиях в отражающих способностях разных материалов, технология Material recognition позволяет значительно повысить точность сортировки ТБО не только по типам, но и по отдельным маркам. А также определять наличие органики в ТБО, попадание которой значительно снижает качество вторсырья.

С помощью мультиспектральных камер и робота-манипулятора программа сейчас может различать и разделять 11 видов и подвидов перерабатываемых отходов: стекло, металл, бумагу, различные виды пластика и др. 

«Думает» этот программно-аппаратный комплекс с помощью нескольких нейросетей, которые мы обучали на собственной базе данных, собранной по разным видам мусора.

Мы начали разрабатывать систему MARQUS благодаря сотрудничеству с ульяновской компанией «ВторПлюс». Она специализируется на раздельном сборе и сортировке мусора.

Сначала мы сделали для «ВторПлюс» мобильное приложение для оптимизации доставки ТБО из квартир и офисов. Благодаря этому проекту в Ульяновске активно внедряется культура сортировки ТБО – сейчас через приложение сдают вторсырье более 70 тысяч домохозяйств. 

А потом возникла идея, что и сам процесс сортировки ТБО на предприятии можно автоматизировать и сделать более эффективным. Заменить ручной труд на роботов, повысить скорость и объемы сортировки. А также увеличить количество и качество определяемых фракций вторсырья, что кратно повысит его стоимость при продаже.

А после изучения деталей нацпроекта «Экология», состояния и перспектив сектора сортировки ТБО мы поняли, что в таком продукте есть реальная потребность.

Программно-аппаратные комплексы, которые решают похожие задачи, существуют, но у них есть важные ограничения. Например, в Германии и Голландии применяется система, которая умеет определять только пластик. Либо это бинарные классификации, которые могут анализировать в конкретный отрезок времени, только один вид ТБО. На практике это происходит так: по конвейеру едет вся груда мусора, а механизированный сортировщик отбирает только один вид. Остальной поток продолжает движение и подвергается очередной итерации сортировки, но сортировщик отбирает уже другой вид мусора. И так происходит раз за разом. То есть такие решения требуют многостадийности сортировки. А добавление каждой дополнительной фракции для распознавания требует дорогостоящей донастройки ПО и оборудования.

Так же большинство решений используют компьютерное зрение и технологию Object recognition — то есть распознают виды мусора по цвету и форме. В условиях, когда мусор движется плотным слоем по конвейеру, а форма очень вариативна (смятые банки, разорванная бумага и т.п.), точность распознавания может быть не самой лучшей.

Альтернативой, которая позволят максимально точно — от 97% — распознавать не только типы ТБО, но и подтипы (фракции), является технология Material recognition. Но она требует дорогостоящего оборудования для мультиспектрального анализа. А также значительные вложения в создание датасета. Как показало наше исследование, доступных датасетов с достаточным количеством образцов ТБО с мультиспектральными данными нет, не только в России. 

Наши инженеры проработали большое количество гипотез по архитектуре и базовым технологиям будущего решения. И в итоге остановились на идее использования компьютерного зрения и технологии Material recognition. 

При этом они создали собственное программно-аппаратное решение, которое снимает ограничения, связанные со стоимостью оборудования и подготовкой датасета.

Вот как выглядит общая схема работы MARQUS:

1. ТБО перемещается на ленте конвейера и попадает в объективы камер. 

2. Используется 2 вида камер: NIR-камера и вторая в обычном диапазоне. Две камеры нужны, чтобы точнее определять глубину сцены и координаты объектов. Дополнение мультиспектральной камерой нужно, чтобы давать больше информации для подсистемы классификации ТБО. 

3. Размещение датчиков освещённости и температуры используется для корректировки видеосигнала с камер для более точной работы подсистем распознавания.

4. Данные с датчиков скорости движения конвейерной ленты использует управляющий сервер для расчётов сигналов манипуляторам. 

5. Сервер — это компьютер c GPU в качестве компонента инференса нейросетевых моделей, участвующих в детекции, классификации, сегментации и расчёта координат и управляющих команд, необходимых манипуляторам. 

6. Контроллер, один или несколько — в зависимости от количества манипуляторов, оперируют полученными командами, преобразует их в специфические для конкретного манипулятора управляющие сигналы. 

7. Манипуляторы выполняют присланные команды: перекладывают или сдувают распознанные объекты с ленты в контейнер с объектами данного типа. 

MARQUS определяет следующие типы мусора: пластик, бумага, картон, металл, стекло, текстиль, древесина, органические отходы и смешанные отходы. Особенностью нашего ПО является умение определять подтипы ТБО, например, различные виды пластика PET, PVC и полиэтилена, разные виды бумаги и текстиля, а также отделять цветной металл от чёрного.

Для этого MARQUS в целях обнаружения, сегментации и классификации объектов, а также трекинга использует две различные архитектуры свёрточных нейронных сетей: архитектуру, обрабатывающую поступившее изображение целиком, и архитектуру, обрабатывающую регионы на изображении. Применение обоих архитектур связана с тем, что одна давала нам достойные прогнозы и даже предсказал классы, которые были недостаточно представлены в наборе данных, в то время как другая обеспечивала выше скорость работы при меньших ресурсах.

Обучение нейросети мы проводили на собственном датасете, который готовили в лаборатории ZeBrains в Краснодаре. Наши инженеры придумали решение, которое позволило нам с минимальными затратами быстро проводить мультиспектральную съемку образцов. Сами образцы ТБО нам помогают готовить партнеры из краснодарского экопроекта «Собиратор». Сейчас в нашем датасете более 120 000 экземпляров размеченных данных по образцам ТБО в разных спектрах.

Наши инженеры обошли самое главное ограничение для ПО на базе Material recognition — необходимость дорогостоящего оборудования для мультиспектральной съемки. Наше решение не требует дорогих компонентов, сейчас нет никаких сложностей по их доставке в Россию. Более того, эти компоненты можно полностью производить в нашей стране.

Еще одна важная особенность нашего проекта — мы не привязываемся к определенным моделям манипуляторов, что дает гибкость внедрения. Наш модуль управления манипуляторами позволяет подключать к нашей ИИ-платформе оборудование разных производителей с минимальными затратами. 

Таким образом, мы даем возможность легкого конфигурирования сортировочной линии не только по типам отбираемого ТБО, но и по оборудованию. Это важно, так как у различных компаний-сортировщиков разные возможности по аппаратной части. Кроме того, они могут специализироваться только на отдельных фракциях ТБО.

1. Более чем в 2 раза увеличивается объем сортировки ТБО за единицу времени, по сравнению с ручным трудом: 60-70 объектов в минуту при точности детекции 95-97%.

2. MARQUS позволяет на 30% повысить количество извлекаемых фракций из ТБО в сравнении с други способами автоматизации.

3. Благодаря MARQUS можно масштабировать производство без дополнительного найма сотрудников. Для работы на линии нужен оператор подачи ТБО и оператор осуществляющий контроль нескольких линий.

4. По оценке наших партнеров из «Вторплюс» MARQUS позволит улучшить условия труда сотрудников и повысить их доход, когда они перейдут от роли сортировщиков к роли операторов.

5. При использовании MARQUS работа производства может быть организована в несколько смен и это не потребует значительного роста количества персонала.

6. На 25% ниже стоимость внедрения по сравнению с аналогами на базе компьютерного зрения. В десятки раз ниже по сравнению с иностранными аналогами на базе технологии распознавания материалов.

7. MARQUS уже успел поучаствовать в питч-сесии на бизнес-форуме международной выставки Smart Cities India Expo в Нью-Дели. Продукт вызвал интерес со стороны компаний, в портфеле которых есть направление Waste Management. По их оценке, MARQUS как «умная» и компактная линия по сортировке ТБО может идеально вписаться в экосистему городского района.