Агрегация данных для 500+ филиалов

Данные лежали в 15 несвязанных системах, отчеты по показателям собирали вручную, общей картины не было ни у кого.

Собрали единую систему, которая сама забирает данные из 15 разных источников и показывает их на понятных экранах, с контролем качества и защитой данных.

Бизнес впервые увидел себя целиком: нашли нарушения, которых раньше не замечали, начали строить прогнозы и распределять финансирование по цифрам.

• ETL с нуля для федеральной структуры с сотнями филиалов. Спроектированы модель движения данных и правила нормализации, согласован и настроен обмен с командами-поставщиками данных. Обеспечены data quality, data visibility, отказоустойчивость и защита персональных данных, прохождение пентестов.
• Масштаб: данные более 20 млн пользователей, нормализованный слой свыше 200 таблиц в 3NF, более 20 источников данных, 300 пользовательских дашбордов. Пропускная способность около 1,5 млн записей в час, задержка обновлений от пяти до 10 секунд.
• Стек: Kafka+Avro+Kerberos, VPN, Airflow, Redash-BI, FastAPI+React