Как мы пересобрали аналитику Teachbase на ClickHouse

Teachbase — LMS-платформа для внутреннего обучения, ДПО, обучения заказчиков и проведения олимпиад. Клиенты платформы получали аналитику в виде CSV-таблиц, которые было неудобно читать, и из-за этого компания недозакрывала часть сделок. База насчитывала более 10 миллионов строк: строить отчёты прямо на транзакционной базе значило рисковать её стабильностью.

Задача — сделать для клиентов Teachbase удобную аналитику и не нагружать рабочую базу платформы.

Начали с методологии: определили ключевые термины и метрики и способ их расчёта — например, что считать завершённым курсом. Для сбора данных выбрали батчи раз в сутки вместо стриминга.

Первую итерацию дашбордов сделали на тестовой базе PostgreSQL, показали клиентам Teachbase, получили обратную связь и пересобрали систему: оставили данные по тестам и заданиям, остальные не собирали.

• Во второй, финальной итерации промежуточные слои собираются из рабочей базы и переносятся в ClickHouse.

• В ClickHouse строятся витрины для дашбордов — физические таблицы с индексацией; метрики вычисляются в базе.

• Готовые таблицы визуализируются в Yandex DataLens.

• Под каждого клиента — отдельный дашборд и витрина, чтобы физически изолировать данные.

• У Teachbase появился продукт, который компания может продавать своим клиентам: аналитика стала частью платформы.

• Ручных выгрузок и запросов к разработчикам стало меньше.

• Систему разработали силами двух дата-аналитиков; дата-инженеров подключали только для сложного SQL.

Демо-дашборд: https://datalens.yandex/938ncx75hvaqv

Полный кейс на сайте Smart Easy BI: https://smarteasybi.com/clickhouse-analytics/