Пожары в разработке под контролем: внедряем observability и умные алерты

Рост сервисов и высокие нагрузки всегда сопряжены с рисками: медленные ответы, ошибки, неожиданные падения. Совсем избежать инцидентов невозможно. Но команда должна успевать раньше, чем бизнес почувствует потери.

На митапе мы поговорим о том, как справляться с «пожарами» в разработке и сопровождении продуктов с помощью современных практик Observability и умного алертинга.

Митап будет полезен как менеджерам, которым важно держать под контролем надежность сервисов и минимизировать стоимость инцидентов. Так и инженерам, отвечающим за сопровождение продукта и уставшим от «пожаров» в проде.

Как перестать тушить пожары в разработке: внедряем Observability в существующий продукт не за миллиард денег, Олег Казаков, CTO в Spectr

Тезисы доклада:

• Любой проект рано или поздно сталкивается с ситуацией, когда что-то идёт не так: сервис отвечает медленно, пользователи жалуются на ошибки, а в логах куча строк, из которых ничего не ясно. Без полноценной наблюдаемости это превращается в мучительное расследование «вслепую».
• Как всем известно, наблюдаемость держится на трёх столпах: метриках, логах и трейсах. В данном докладе я расскажу о том, как в короткие сроки внедрить базовый observability на примере Grafana стека: Grafana, Prometheus, Loki, Tempo.
• Почему мы пропускаем инциденты, и как это исправить: алертная слепота как барьер для Observability, Кирилл Грищук, Avito, Backend Team Lead в Core Services.

Тезисы доклада:

• С ростом системы вопрос алертов становится неизбежным. И, вроде бы, все идет по плану: включают мониторинг, подключают уведомления. но через пару недель у разработчиков уже мини-инсульт от сотен сообщений в канале. В чем причина?
• Приходит много разных алертов даже тогда, когда система работает нормально.
• Когда ничего не работает — они тоже приходят, и их уже игнорируют по привычке.
• Алерты воспринимаются как доказательство, что «код работает» — раз хоть что-то пишет.
• В итоге мы сталкиваемся с ситуацией, что алерты не выполняют свою функцию. Команда перестает на них реагировать, реальные проблемы пропускаются. Это и есть «алертная слепота».

В докладе мы разберем правила хорошего алертинга. Когда алерты сигнализируют о реальных проблемах; любой разработчик может решить проблему — есть инструкция, что делать; в логах релевантная информация. И рассмотрим четыре базовых шага: настройка границ, обобщение метрики, работа с короткими пиками, какую информацию включать в алерт.

В конце доклада вы получите инструкцию, как настроить работу с алертами, а также полезные ссылки.

Формат:
Митап пройдет в онлайн-формате. Участие бесплатное, но необходима предварительная регистрация.

Регистрируйтесь, готовьте свои вопросы и подключайтесь!