Python Demo Apps with OpenTelemetry Traces, Logs and Metrics

Набор различных способов добавления OpenTelemetry-библиотек (инструментация) в приложения написанные на Python с использованием фреймворков Flask, FastAPI

Набор готовых настроек в виде Docker-контейнеров для быстрого запуска сервисов для работы с метриками, логами и трейсами:

• Grafana - UI для работы с трейсами, логами и метриками
• Jaeger UI - UI и хранилище для трейсов
• Prometheus - хранилище метрик
• OpenTelemetry Collector - сбор и обработка OpenTelemetry-данных
• Loki - хранилище логов
• Tempo - хранилище трейсов
• Pyrra - процессинг и UI для работы с SLO, бюджетом ошибок и другими индикаторами
• Karma - UI для работы с алертами
• AlertManager - процессинг и UI для алертов
• Webhook Tester - UI для просмотра отправляемых от AlertManager событий
• Pyroscope - просмотр профилировочной информации

Описание архитектуры

Описание архитектуры пользовательских сервисов

TODO

Описание архитектуры инфраструктуры для мониторинга

TODO

Быстрый старт

Запустить все сервисы

docker-compose up -d

Выполнить запрос к edge-сервису (flask-app):

curl http://127.0.0.1:8001/users

Найти запрос в UI:

• Открыть Grafana, выбрать Tempo, переключиться в тип запроса Search и нажать Run query:
• Открыть Jaeger UI, выбрать сервис внутри Services и нажать Find Traces:

Открыть трейс запроса и получить всю информацию по спанам:

• Grafana:
• Jaeger UI:

Остановить сервисы

docker-compose down -v

Запуск тестового сценария

Запуск множества запросов на /users через k6:

k6 run k6-script.js

Просмотр индикатров SLO в Pyrra:

Просмотр изменения значения индикатров SLO в Pyrra (например Latency - 95% успешных запросов должны быть обработаны быстрее, чем за 1с):

Просмотр графиков изменения показателей используемых в расчете SLO в Pyrra:

Просмотр графиков изменения показателей используемых в расчете SLO в Pyrra:

Полезные ссылки

• https://sre.google/books/ - must-have SRE Books
• https://blog.alexewerlof.com/p/slc - инструмент для работы с SLI/SLO
• https://manassharma.hashnode.dev/opentelemetry-logs-deep-dive - хорошая обзорная статья про построение мониторинга на основе связанных сигналов телеметрии на базе OpenTelemtry & OpenObserve
• https://mkaz.me/blog/2024/slo-formulas-implementation-in-promql-step-by-step/ - статья про расчет SLO на основе Prometheus метрик для веб-сервиса
• https://grafana.com/oss/pyroscope/ - использование профилировщика для задач мониторинга