Как мы ускорили производственный процесс в 6,5 раз, внедрив ИИ

Как появилась идея:

С Заказчиком - сетью предприятий общественного питания (фудтех) - от ресторанов до шведских линий в отелях - мы работаем уже давно.

За этот период мы разработали для них ИТ - решение, которое включает:

- мобильное приложение;

- комплекс автоматизации бухгалтерии;

- систему контроля производства;

- новаторский Фотобокс - аппаратно-программное обеспечение для отслеживания остатков продуктов при обслуживании клиентов в режиме "шведский стол".

В этом кейсе мы остановимся на усовершенствовании Фотобокса с помощью искусственного интеллекта.

После запуска Фотобокса на шведской линии питания отеля мы столкнулись с затруднением. Сотрудники долго искали названия блюд в веб-программе, даже при использовании функции поиска. Дело в том, что наименования обычно вносят Шеф-повара. При этом могут придумать весьма оригинальные и замысловатые. Официанты не всегда в курсе точных названий. Бывает, что процесс поиска нужного блюда в каталоге затягивался аж до 20 секунд. В периоды наибольшей загруженности это становилось критичным.

Задача:

ускорить выдачу блюд на шведской линии ресторана.

Идея по решению проблемы:

Разработать и внедрить в Фотобокс “умную” систему, которая самостоятельно распознает блюда и выводит их названия на дисплей Фотобокса.

Мы разработали сервис для определения блюд с помощью сверхточной нейронной сети.

Как работает “Фотобокс” с искусственным интеллектом (см.видео):

Когда официант ставит блюдо на весы фотокассы, наша обученная нейросеть распознает, что это за блюдо, и выводит на экран название одного или нескольких вариантов.

Почему возможно несколько вариантов? Порой блюда могут содержать похожие ингредиенты. Например, если официант ставит морковь, система может предложить выбрать между свежей натертой морковью и морковью по-корейски.

Таким образом, искусственный интеллект помогает официантам быстро находить нужные блюда в Фотобоксе. Это значительно ускоряет процесс выдачи и улучшает обслуживание.

Этапы процесса внедрения технологий искусственного интеллекта в Фотобокс представлены на слайде:

Основные шаги, которые мы прошли при внедрении искусственного интеллекта в Фотобокс:

1. Сбор данных. Наша задача — собрать достаточное количество фотографий и подготовить их для нейросети.

2.Обучение нейросети. Мы обучаем нейросеть на собранных фотографиях, чтобы она могла определять блюда.

3. Доставка модели. Обученная модель должна быть установлена на каждом Фотобоксе.

Дело в том, что данные с каждого Фотобокса отправляются на облачный сервер и сохраняются в его базе данных. А фотографии хранятся отдельно на S3-сервере. Такой порядок хранения информации создан для экономии места на основном сервере.

Также важно, что в каждом программном объекте, созданном официантами в веб-приложении, помимо основной информации есть много дополнительных данных.

Другими словами, у нас было много данных, которые нужно было обработать и подготовить только фото и названия блюд для передачи в нейронную сеть. Для автоматизации этого процесса мы и создали специальный сервис.

Ядро нейронной сети было разработано по микросервисной архитектуре. Один микросервис отвечает за получение датасетов и обучение модели. Другой отвечает за распознавание блюда по фотографии.

Мы создали функционал для доставки обученной модели с S3-сервера на Фотобокс.

 Поскольку может быть много моделей, важно отправить только самую "свежую". Для этого мы добавили к каждой модели дату и время её создания. Когда Фотобокс получает модели, он проверяет эти данные и выбирает актуальную.

Для оптимизации процесса обучения нейронной сети мы:

- определили оптимальное количество фотографий на блюдо, необходимое для обучения.

- занялись настройками, чтобы сделать процесс распознавания максимально быстрым.

Первые тесты показывали время обработки около 3-4 секунд. Но после ряда доработок мы смогли сократить время до 1,5-2 секунд. Сейчас блюда определяются практически мгновенно, и персонал тратит на это минимальное время.

В процессе разработки программного обеспечения на базе ИИ мы столкнулись с несколькими проблемами:

1. Недостаточная скорость определения блюд на некоторых устройствах (4 секунды).

2. Низкое качество распознавания из-за неравномерного количества фотографий блюд в датасете, поступающих на вход нейронной сети.

3. Ухудшение качества распознавания из-за захвата лишнего фона на изображениях.

Чтобы решить эти проблемы, мы:

1. Экспериментально подобрали самую быструю сверточную сеть RESNET151, подходящую для наших задач.

2. Разработали функционал динамической балансировки количества фотографий в датасете, поступающих на вход сверхточной нейронной сети.

3. Создали функционал для точной подготовки фотографий: обрезка, наложение маски на блюдо.

В результате:

1. После оптимизации сверточной сети, балансировки датасетов и подготовки фотографий, определение блюд занимало 1,5-2 секунды на Raspberry Pi. На компьютере с GPU распознавание происходит за доли секунды.

2. Качество распознавания улучшилось до 90-95%.

Также мы разработали веб-интерфейс для удобной настройки процесса обучения сверточной нейронной сети. Это позволяет быстрее обучать модель, тестировать гипотезы и изменять настройки.

Новые трудности ждали команду на этапе внедрения:

1. Обучение персонала.

Мы провели серию тренингов для сотрудников. Фотобоксом важно пользоваться правильно, в т.ч. делать качественные фотографии. Это базовое требование, ведь без качественных фотографий модель распознавания не сможет работать. Опытным путем установили, что для надежного распознавания нужно около 300 фотографий на блюдо. Отсюда проблема - научить и мотивировать персонал регулярно делать эти замеры.

2. Сложности с внедрением на операционном уровне.

 В сфере общепита высокая текучка кадров. Новым сотрудникам требуется время, чтобы освоиться в процессах. Использование “Фотобокса” - это дополнительные действия для персонала. Его внедрение было встречено недовольством. Сотрудники считали, что это замедляет выдачу блюд. Но благодаря поддержке руководства нам удалось решить эту проблему.

Организация размещения оборудования.

Было принято решение разместить несколько аппаратов — у горячего, холодного и кондитерского цехов. При таком размещении сотрудники не тратили время на дополнительное перемещение блюд от мест хранения к фотобоксам и обратно, делая замеры. Это сделало процесс удобным.

Итак, практика показала, что внедрение технологии потребовало не только технической подготовки. Нужна была грамотная работа с персоналом. А это - время, терпение и четкая организация. Но когда система распознавания блюд заработала в полную силу, всем стали очевидны ее преимущества.

В 6,5 раз увеличилась скорость распознавания блюд.

Чтобы понять, насколько ИИ упростил жизнь официантам, необходимо вспомнить себя на завтраке на шведской линии. И прочувствовать, как тут важна скорость обслуживания.

До внедрения искусственного интеллекта у официанта на поиск названия блюда уходило до 10-15 секунд. После внедрения ИИ - 1-2 секунды.

Кроме того, система автоматически обновляется, что позволяет поддерживать актуальность моделей распознавания.

Проект успешно реализован как с технической, так и с организационной стороны, что доказывает компетентность ItFox в создании инновационных решений для повышения эффективности и уровня сервиса в ресторанном бизнесе.

В Рейтинге Рунета 2025 компания ItFox занимает 3 место в категории "Разработка решений на базе ИИ: Питание".