Планшетный клиент для управления беспилотником

Разработать приложение для управления дроном: перемещение в пространстве и съемка.

Беспилотник — это тяжелый летательный аппарат с размахом винтов больше метра, для управления которым нужны специальные навыки.

С помощью дронов и камеры высокого разрешения инспектор снимает лопасти ветрогенераторов для проверки на дефекты.

На высоте сто метров, где находятся лопасти, дует ветер — это усложняет управление беспилотником. Поэтому для съемки лопастей требуются два оператора: первый — управляет беспилотником, второй — делает снимки.

Задача состояла в том, чтобы разработать приложение, с помощью которого один человек мог одновременно и управлять беспилотником, и делать снимки ветряка.

У заказчика было несколько болей, связанных с управлением через планшет. 

Во-первых, ветряки находятся в море, это агрессивная среда, и если постоянно пользоваться обычным планшетом, то он долго там не сможет функционировать.

Во-вторых, при управлении пилот ориентируется на видео в низком разрешении, которое получает с встроенной камеры беспилотника. Если данное видео транслировать на обычной яркости экрана планшета, то оно очень тусклое, и белая лопасть будет сливаться на сером фоне. Именно поэтому нужно было чтобы планшет работал в режиме повышенной яркости, а обычный планшет достаточно быстро начинает разряжаться в таком режиме.

В следствии этих болей было решено использовать именно промышленный планшет, который выдерживает агрессивную среду и у которого достаточно мощная батарея, чтобы долго можно было работать на повышенной яркости.

Наша команда разработала приложение-ассистент, которое позволяет оператору управлять дроном и фотографировать лопасти ветрогенератора:

• Автоматическая стабилизация камеры дрона;

• Видеотрансляция с дрона через WiFi;

• Управление фокусировкой и параметрами съемки в высоком разрешении;

• Передача телеметрии;

• Управление подвесом дрона, к которому крепится камера.

Перед нами и нашими швейцарскими партнёрами из компании Helvetis встала задача транслировать видео в режиме реального времени с web-камеры с маломощного embedded-устройства на дроне по WiFi на Windows-планшет.

Для решения этой задачи был реализован сервер вещания на основе mjpg-streamer. Его архитектура позволяла легко добавлять новые плагины ввода и вывода. Мы добавили плагин для считывания потока h264 с устройства. В качестве плагина вывода выбрали плагин http. В задаче декодирования видео нам сильно помогла библиотека Intel Media SDK.

В результате разработки мы получили достаточно легковесное решение для передачи видео без задержки, не требовательное к ресурсам ни передающей, ни принимающей стороны.

Приложение прошло испытания, этап внедрения и успешно применяется на объектах заказчика. 

Был разработан набор небольших утилит для упрощения работы оператора:

• позиционирование,

• телеметрия,

• отображение параметров полета,

• передача EXIF-файлов.