ИИ для распознавания блюд на шведской линии отеля

Мы уже много лет сотрудничаем с крупнейшей сетью ресторанов на юге России London Restaurant Group. Примерно год назад они обратились к нам с задачей: нужно было автоматизировать документооборот и контроль выдачи блюд при обслуживании клиентов по системе "шведский стол".

Мы разработали систему автоматизации "Фотобокс", которая следит за остатками продуктов (мы писали о ней в одном из наших предыдущих кейсов). Однако на шведской линии эта система работала неэффективно.

Дело в том, что в данной системе используется аппаратная часть "Фотокасса", которая фиксирует вес, температуру и внешний вид каждого блюда. В ресторанах сотрудники вручную искали блюдо в веб-интерфейсе, чтобы зафиксировать параметры. На шведской линии же (когда выдачу нужно производить максимально быстро) это было неудобно.

Представьте, официанты тратили до 15 секунд на поиск, что в "час пик" сильно сказывалось на эффективности работы.

Поэтому нужно было автоматизировать систему, чтобы ускорить выдачу.

Для решения данной проблемы было принято решение разработать систему искусственного интеллекта, способную автоматически распознавать блюда и выводить их наименования на дисплей Фотобокса. Это значительно упростило бы процесс выбора и ускорило обслуживание, а также снизило вероятность ошибок, связанных с человеческим фактором. Когда, например, шеф-повар ввел название с ошибкой или придумал новое - труднозапоминаемое. 

Первым шагом в разработке ИИ стало тщательное исследование задачи и существующих решений на рынке. Мы провели анализ доступных технологий распознавания, однако подходящего решения не нашли. Поэтому было решено разрабатывать собственное решение. 

Дело в том, что данные с каждого Фотобокса отправляются на облачный сервер и сохраняются в его базе данных, а фотографии хранятся отдельно на S3-сервере, чтобы экономить место на основном сервере.

Также важно, что в каждом программном объекте, созданном официантами в веб-приложении, помимо основной информации есть много дополнительных данных.

Другими словами, у нас было много данных, которые нужно было обработать и подготовить только фото и названия блюд для передачи в нейронную сеть. Для автоматизации этого процесса мы и создали специальный сервис.

В процессе разработки ИИ мы столкнулись с несколькими проблемами:

1. Недостаточная скорость определения блюд на некоторых устройствах (4 секунды).

2. Низкое качество распознавания из-за неравномерного количества фотографий блюд в датасете, поступающих на вход нейронной сети.

3. Ухудшение качества распознавания из-за захвата лишнего фона на изображениях.

Чтобы решить эти проблемы, мы:

1. Экспериментально подобрали самую быструю сверточную сеть RESNET151, подходящую для наших задач.

2. Разработали функционал динамической балансировки количества фотографий в датасете, поступающих на вход сверхточной нейронной сети.

3. Создали функционал для точной подготовки фотографий: обрезка, наложение маски на блюдо.

В результате:

1. После оптимизации сверточной сети, балансировки датасетов и подготовки фотографий, определение блюд занимало 1,5-2 секунды на Raspberry Pi. На компьютере с GPU распознавание происходит за доли секунды.

2. Качество распознавания улучшилось до 90-95%.

Также мы разработали веб-интерфейс для удобной настройки процесса обучения сверточной нейронной сети. Это позволяет быстрее обучать модель, тестировать гипотезы и изменять настройки.

Основные настройки, которые мы используем:

Мы создали функционал, который позволяет запускать все наши сервисы и утилиты для обучения модели всего одним нажатием кнопки в веб-приложении облачного сервера.

Раньше для запуска обучения модели требовалось выполнять множество последовательных действий, что занимало много времени. Поэтому мы разработали скрипты, которые полностью автоматизируют этот процесс. Мы также провели множество тестов, чтобы убедиться, что всё работает корректно.

Поскольку может быть много моделей, важно отправить только самую "свежую". Для этого мы добавили к каждой модели дату и время её создания. Когда Фотобокс получает модели, он проверяет эти данные и выбирает актуальную.

Оптимизация процесса обучения с помощью нейронной сети оказалось одной из самых сложных задач.

Первым делом мы определили оптимальное количество фотографий на блюдо, необходимое для обучения нейронной сети. Затем занялись настройками, чтобы сделать процесс распознавания максимально быстрым.

Первые тесты показывали время обработки около 3-4 секунд. Но после ряда доработок мы смогли сократить время до 1,5-2 секунд. Сейчас блюда определяются практически мгновенно, и персонал тратит на это минимальное время.

Внедрение разработанной системы также оказалось непростой задачей. Но мы считаем важным осветить проблемы, с которыми столкнулись, ведь этот этап является одним из самых сложных при разработке ИИ-систем.

Во-первых, мы провели серию тренингов для сотрудников, чтобы показать, как правильно использовать Фотобокс - делать фотографии и работать с оборудованием. Это базовое требование, ведь без качественных фотографий модель распознавания не сможет работать. Мы выяснили, что для надежного распознавания нужно около 300 фотографий на блюдо. Поэтому первая проблема была в том, чтобы научить и мотивировать персонал регулярно делать эти замеры.

Во-вторых, были сложности с внедрением на операционном уровне. В сфере общепита высокая текучка кадров, и новым сотрудникам требуется время, чтобы освоиться в процессах. Когда мы внедряли новую систему, требующую дополнительного времени на замеры, это вызывало недовольство, так как, по мнению персонала, это замедляло выдачу блюд. Но благодаря поддержке руководства нам удалось решить эту проблему.

Наконец, важным моментом была организация размещения оборудования. Мы поняли, что Фотобоксы должны быть расположены рядом с местами хранения готовых блюд - у горячего цеха, холодного цеха, кондитерского. Это позволяет сотрудникам быстро делать замеры, не тратя время на перемещения.

В целом, задача внедрения требовала подготовки не только самой системы, но и людей, которые будут с ней работать ежедневно. Это потребовало времени, терпения и хорошей организации. Но когда все начинает работать как часы, это дает ощутимые преимущества, которые видны всем.

В результате внедрения системы ИИ, скорость распознавания блюд значительно возросла, а качество распознавания улучшилось до 90-95%. Теперь сотрудники могут быстро и точно находить блюда, что существенно ускоряет обслуживание клиентов. Кроме того, система автоматически обновляется, что позволяет поддерживать актуальность моделей распознавания.

Проект оказался успешным как в техническом, так и в организационном плане, что подтверждает способность компании ItFox создавать инновационные решения, способствующие повышению эффективности и качества обслуживания в ресторанной индустрии.