Основы мониторинга и сбор метрик

Изучаем описание метрик, мониторинга и системы оповещений под руководством старшего системного инженера Logrocon Ивана Худорожкова.

Рассматриваемые вопросы:
1. Что такое метрики и зачем их собирать?
2. Что такое мониторинг?
3. Программное обеспечение для мониторинга
4. Что такое система оповещений?
5. Какие данные нужно отслеживать?
6. 5 ошибок в настройке и процессе сбора данных
7. А что если не мониторить и не проверять свои данные?
8. Список литератур

Что такое метрики и зачем их собирать?

Метрика – это стандарт для измерения ресурса. Метрики могут ссылаться либо на ресурс и его единицы измерения, либо на данные, собранные об этом ресурсе.

Метод сбора и анализа проблем с производительностью инфраструктуры (железо, сеть).
Метод сбора высокоуровневых данных и анализа (веб сервисы, базы данных, очереди и тд).
Метод сбора и анализа бизнес-метрик.

Что такое метрики и зачем их собирать?

Метрика процесса
Целевая точка
Текущее измерение процесса
Результат усовершенствования процесса

Что такое мониторинг?

Мониторинг — это постоянный сбор и анализ различных параметров (метрик) поведения системы. С его помощью можно описать и измерить в числовом выражении каждый важный аспект проекта.
Данные из разных точек среды собираются системой мониторинга, которая отвечает за хранение, агрегацию, визуализацию данных и автоматические реагирует на изменения, когда значения соответствует заданным условиям.

Первая обязанность
Задача мониторинга

Программное обеспечение для мониторинга:

Grafana — универсальная обертка для работы с аналитическими данными, которые хранятся в разных источниках. Она сама ничего не хранит и не собирает, а является лишь универсальным клиентом для систем хранения метрик. Например, с помощью нее можно ходить за цифрами как в традиционную базу PostgreSQL, так и в специализированные аналитические системы типа Prometheus.
Prometheus - Система сбора данных временных рядов, разработанная музыкальной компанией SoundCloud для решения внутренних потребностей в быстрой и гибкой обработке продуктовых метрик. Продукт с задачей справился настолько хорошо, что был выпущен за границы SoundCloud и теперь доступен как opensource для всех желающих.

Zabbix — свободная система мониторинга и отслеживания статусов разнообразных сервисов компьютерной сети, серверов и сетевого оборудования, написанная Алексеем Владышевым.

Nagios — программа с открытым кодом, предназначенная для мониторинга компьютерных систем и сетей: наблюдения, контроля состояния вычислительных узлов и служб, оповещения администратора в том случае, если какие-то из служб прекращают свою работу.

USE Method:
Grafana

RED Method:
Prometheus

USE Method:
Zabbix
Nagios

USE Method — метод был предложен Brendan Gregg для анализа производительности любой системы. USE — это акроним от терминов Utilization, Saturation и Errors (Утилизация, Насыщение и Ошибки).

RED Method — подход, предложенный Tom Wilkie и является акронимом от (Requests) Rate, Errors, Duration ((Запросы) Скорость, Ошибки, Продолжительность). Он рассчитан на сбор метрик с самих приложений.

(Запрос) Rate
(Запрос) Errors
(Запрос) Duration

Для каждого приложения отслеживайте:
Задержка
Трафик
Ошибки
Насыщенность

USE Method:
Grafana + Prometheus

UCA method:
UCA акроним от Users, Conversions, Activity (Пользователи, Преобразования, Деятельность) и он нацелен на измерение бизнес метрик сервиса. Его предложил Mike Julian и рассмотрел его в своем курсе Monitor Anything.

Conversions
Activity
UCA

UCA method:
Google Analytics
Yandex Metrika

Что такое система оповещений?

1. Мониторинг оборудования.
2. Мониторинг состояния приложений.
3. Мониторинг бизнес-метрик.

5 ошибок в настройке и процессе сбора данных

Человеческий фактор.
Отсутствие связи между бизнес-задачами и настройкой аналитики.
«Плавающее» руководство по сбору данных.
Разрозненные данные.
Отсутствие проверок.

Комплексный мониторинг - преимущества

Комплексный мониторинг - вывод

А что если не мониторить и не проверять свои данные?

Список литературы

Реферальные ссылки:

http://www.brendangregg.com/usemethod.html
https://www.weave.works/blog/the-red-method-key-metrics-for-microservices-architecture/
https://www.facebook.com/otusru/posts/979380988866993
https://blog.okmeter.io/use-red-and-real-world-pgbouncer-monitoring-61b34ebeebb8
https://www.datadoghq.com/blog/monitoring-101-collecting-data/
https://ppc.world/articles/sobiray-no-proveryay-monitoring-kachestva-dannyh-kak-profilaktika-biznes-oshibok/
https://sre.google/sre-book/monitoring-distributed-systems/#xref_monitoring_golden-signals
https://www.youtube.com/watch?v=zk77VS98
https://m.habr.com/ru/company/accenture/blog/549610/

Спасибо за внимание! :)