Я здоров. Как изменить индустрию здравоохранения и с чего начать.

Я здоров - внутренний medtech AI стартап ASAP.

Глобально проект направлен на повышение возможностей ранней диагностики отклонений здоровья и превентивной медицины.

За счёт сбора, агрегации и анализа данных о здоровье пациента из разных источников.

Первый этап - универсальная медицинская карта и сервис для онлайн-взаимодействия с медицинскими специалистами.

Задачи проекта:

Создать удобный инструмент хранения и структурирования медицинских данных

Реализовать механизмы распознавания данных с бланков, в частности бланков анализов любых лабораторий

Сделать возможность предоставления доступа к данным медицинскому специалисту и инструмент работы с ним в режиме онлайн

Сервис состоит из 2-х модулей

1. Мобильное приложение пользователя

Загрузка, хранение и структурирование данных медицинской карты: анализов, обследований и назначений.  Распознавание бланков анализов, обследований и назначений с помощью технологий ML/AI. Предоставление доступа к мед карте врачу.

Календарь\планировщик задач по здоровью: приём лекарств, записи на анализы и обследования, дневники показателей, питания, активности и т.д.

Текстово-голосовой помощник для работы с данными и функционалом приложения.

Web-сервис для медицинских специалистов. Онлайн-кабинет для работы с пациентами:

Работа с данными медкарты. Назначение анализов, обследований, опросов, направление рекомендаций.

В приложении и в web-сервисе реализована авторизация по номеру телефона и смс-коду.

Пользователь может привязывать к профилю членов семьи и вести отдельную медицинскую карту например для ребенка или родителя.

Пользователь загружает анализы, обследования и назначения врачей файлами или фотографиями.

После распознавания - все данные хранятся в структурированном виде по разделам. Доступен поиск и фильтрация.

В детальной карточке анализа доступна история изменений с графиком для каждого компонента. Можно добавлять собственные примечания и видеть комментарии врача.

Самая сложная техническая задача проекта.

Необходимо распознавать бланки анализов разных лабораторий (с формата файлов и фотографий), сохраняя структурированные данные со следующими полями: название биомаркера, значение, единица измерения, референсные значения.

Также с бланка нужно распознавать и сохранять общую информацию о анализе, такую как: ФИО пациента, возраст пациента, дата сдачи, название и адрес лаборатории, ФИО и должность врача

Сложность задачи

1. Биомаркеры имеют большое количество синонимов и вариантов сокращений.

Ещё для каждого биомаркера может быть абсолютное и %-ое значение. При этом нам важно стабильно определять, что при разных написаниях в бланке - это один и тот же биомаркер. 

Нужно собрать большое количество данных о названиях биомаркерах, синонимах, единицах измерения.

При этом нет уверенности, что эта информация будет исчерпывающей, так как каждая лаборатория может по своему сократить название биомаркера.

2. Сильно отличающаяся структура бланков, расположение элементов, затрудняющая установление связи (например название биоматериала - результат) из-за чего усложняется структурирование и возникают неточности. 

Многие бланки не имеют строгой табличной структуры, из-за чего положения значений по координатам определяются некорректно.

3. Собрать большой дата-сет бланков для обучения модели сложно, долго и дорого.

Решение задачи

1. Формирование базы данных базы данных названий биомаркеров, синонимов, единиц измерений и референсных значений. Парсинг данных с сайтов лабораторий. Сбор данных с распознаваемых бланков. Агрегация данных.

2. Распознавание графических файлов с помощью OCR-моделей. Ансамблирование OCR

Детекция таблиц. Структурирование данных по собственным алгоритмам на основе текста и координат элементов. Векторный поиск для сопоставления синонимов и сокращений биомаркеров

3. Поиск нужных данных в распознанном тексте с помощью LLM-моделей. Тестируем разные модели. 

Определённые ограничения накладывает то, что мы работаем с медицинскими данными - мы не можем использовать API внешних сервисов. Поэтому применяем серверные модели.

На данный момент мы имеем точность распознавания значений биомаркеров - 80-90%.

Некоторые идеи дальнейшего развития алгоритма распознавания:

- Обучение/дообучение модели на дата-сете бланков

- Ансамблирование LLM

- Ручная валидация результатов и дообучение на этих данных

Пользователь может предоставить доступ к данным своей медицинской карте медицинскому специалисту - ко всей медкарте или настроив доступные данные параметрами фильтрации.

Врач работает с медицинской картой пациента в web-приложении: анализирует данные, пишет комментарии и рекомендации, фиксирует назначения.

Для медицинских специалистов реализован web-интерфейс.

Врач имеет видит медицинские карты пациентов, которые предоставили ему доступ, а также сам может приглашать пациентов в сервис для совместной онлайн-работы.

Пользователь может структурировать анализы, обследования и назначения по папкам для более удобной работы.

Например, когда нужно сформировать данные в рамках определённого чек-апа или истории болезни.

Можно настроить доступ медицинского специалиста только к конкретной папке.

Медицинские специалисты могут создавать опросы для своих пациентов - для сбора анамнеза, анализа состояния и т.д.

Можно один раз создать шаблоны опросов и использовать их в дальнейшем.

Пользователь заполняет полученный от врача опрос в мобильном приложении.

По результату заполнения - врач получает уведомление.

В дополнение к классическому интерфейсу - часть функционала мобильного приложения продублирована текстово-голосовым ассистентом.

Можно просто отправить файл и сервис распознает его и создаст нужную сущность.

А можно текстом или голосом спросить “Какие у меня показатели глюкозы?” и сервис выдаст карточку этого биомаркера с историей изменений.

Первая версия приложения решает задачу хранения и структурирования медицинских данных, без привязки к личному кабинету клиники или лаборатории.

Пользователь может загрузить любой бланк - данные будут собраны в единую базу.

Можно предоставить доступ к данным медицинскому специалисту и работать с ним совместно в режиме онлайн.

Планы развития

Календарь\планировщик задач по здоровью: приём лекарств, записи на анализы и обследования, дневники показателей, питания, активности и т.д.

Запись на анализы, обследования и назначения в клиники и лаборатории

Анализ данных медицинской карты с помощью алгоритмов машинного обучение, формирование рекомендаций для пользователя и медицинских сигналов для врача.