스프링 메트릭 모니터링 구축

[jminkkk]

스프링 서버의 매트릭을 모니터링하기

현재 실행 중인 EC2 의 매트릭과 다르다

구축 과정

1. 매트릭 정의
   - CPU 사용률, 메모리 사용량, 네트워크 트래픽 등 모니터링할 매트릭을 정의
2. 매트릭 수집
   - 매트릭 수집 도구를 통해 데이터를 수집
3. 매트릭 저장
   - 수집된 매트릭을 저장할 데이터베이스를 설정
4. 시각화 도구 설정
   - 시각화 도구를 사용하여 매트릭 데이터를 대시보드를 통해 시각적으로 표현
5. 알림 설정
   - 특정 매트릭이 임계값을 초과할 경우 알림을 받도록 설정

[jminkkk]

1. 스프링 매트릭 정의

매트릭이란

시스템, 애플리케이션, 서비스의 성능과 상태를 측정하고 모니터링하기 위해 수집되는 데이터
보통 아래 정보들을 말합니다.

1. 성능 지표: 요청 처리 시간, 메모리 사용량, CPU 사용률 등 애플리케이션의 성능을 나타내는 지표
2. 상태 정보: 애플리케이션의 현재 상태, 예를 들어 활성화된 세션 수, 처리 중인 요청 수 등
3. 사용자 정의 지표: 개발자가 특정 비즈니스 로직이나 요구 사항에 따라 정의한 지표

스프링 액추에이터

스프링에서 제공하는 Spring Boot Actuator를 통해 스프링 애플리케이션의 매트릭을 쉽게 수집하고 모니터링할 수 있다.

의존성 추가

아래의 dependecy를 추가하면 해당 스프링 서버의 메트릭을 확인 가능

implementation 'org.springframework.boot:spring-boot-starter-actuator'

• ex) /actuator/health 현재 서버 헬스 체크(서버가 잘 실행 중인지) 등등

실제 의존성 추가 후 /actuator/health 로 요청을 보낼 경우 아래처럼 스프링 was의 헬스상태를 나타내는 정보를 볼 수 있다.

구성 추가

application.yml에 관련 설정 추가 (어떤 매트릭을 볼 건지 또는 막을 건지)

• 모든 매트릭에 접근할 수 있도록 한다면 프로그램의 환경변수 등이 노출될 수 있고, /actuator/shutdown 로 요청 보내면 애플리케이션이 꺼지는 등등 불상사 발생 가능
• 편리하지만 위험하기 때문에 모든 매트릭을 다 열어두면 안된다.

현재 적용된 actuator 설정 (application-actuator.yml)

management:
  endpoints:
    web:
      exposure:
        include: health,info,metrics,prometheus
  endpoint:
    health:
      show-details: always

참고 자료

[jminkkk]

매트릭 모니터링 툴

Spring Boot Admin

Spring Boot 애플리케이션을 모니터링하고 관리하기 위한 도구로, 스프링 부트의 Actuator를 기반으로 돌아감

장점

• 스프링 부트 애플리케이션과의 통합이 용이하며, Actuator를 통해 애플리케이션의 메트릭, 상태, 로그 등을 쉽게 모니터링할 수 있습니다.
• 여러 스프링 부트 애플리케이션을 중앙에서 관리할 수 있습니다.

단점

• 스프링 부트에 특화되어 있으므로, 다른 프레임워크나 언어로 작성된 애플리케이션에는 사용하기 어렵습니다.
• 기본적으로 제공되는 기능이 제한적이며, 사용자 정의 대시보드나 복잡한 시각화 기능은 부족할 수 있습니다.

CloudWatch

AWS에서 제공하는 모니터링 서비스로, AWS 리소스와 애플리케이션의 성능을 모니터링합니다.

장점

• AWS 서비스와의 원활한 통합 및 자동 메트릭 수집 기능을 제공합니다.
• 경고 및 알림 기능이 강력하여 특정 조건을 감지하고 자동으로 알림을 보낼 수 있습니다.
• 다양한 시각화 옵션과 대시보드를 제공하여 메트릭을 쉽게 분석할 수 있습니다.

단점

• AWS 환경에 종속적이며, 다른 클라우드 서비스나 온프레미스 환경에서는 사용하기 어려울 수 있습니다.
• 사용량에 따라 비용이 발생, 비용이 크진 않고 미미한 듯

Grafana

오픈소스 데이터 시각화 및 분석 도구로, 다양한 데이터 소스(굉장히 다양함) 와 통합할 수 있습니다.

장점

• Prometheus, InfluxDB, Elasticsearch 등 다양한 데이터 소스를 지원하여 유연한 시각화가 가능
• 사용자 정의 대시보드를 생성할 수 있으며, 다양한 시각화 옵션(차트, 그래프 등)을 제공
• 실시간 데이터 시각화 및 알림 기능이 뛰어나며, 커스터마이징이 용이
• 정보가 가장 많음

단점

• 자체적으로 메트릭을 수집하는 기능이 없으므로, 다른 도구와 함께 사용해야 합니다.
• 초기 설정이 다소 복잡할 수 있으며, 데이터 소스 설정이 필요합니다.

[jminkkk]

2. 매트릭 수집

Micrometer이란

애플리케이션 메트릭 파사드

오잉 이게 뭐람?

다양한 모니터링 시스템이 많은데 각 모니터링 시스템마다 원하는 메트릭의 형태가 다르다.

Micrometer는 이 매트릭을 추상화했기 때문에, 사용할 모니터링 시스템에 맞는 Micrometer 구현체를 사용하면 그 시스템에 맞는 매트릭을 제공해준다.

그러면 , 애플리케이션의 메트릭을 마이크로미터가 정한 표준 방법으로 모아서 제공해준다.

---

구현체 의존성 추가

뒤에서 나오지만, 우리는 prometheus 라는 친구를 사용해서 매트릭을 저장할 것이다.

따라서 prometheus에 맞는 형태의 매트릭이 필요하므로 아래 의존성을 추가하면 된다.

implementation 'io.micrometer:micrometer-registry-prometheus'

[jminkkk]

3. 메트릭 저장

Prometheus

1. Prometheus

장점:

• 자체 스토리지: Prometheus는 자체적인 시간 시계열 데이터베이스를 제공하여 설치 및 설정이 간편합니다.
• 고급 쿼리 언어: PromQL을 사용하여 매트릭을 효율적으로 쿼리할 수 있습니다.
• 자동 스크래핑: HTTP 엔드포인트를 통해 자동으로 매트릭을 수집합니다.
• 경고 기능: 경고 규칙을 설정하여 특정 조건을 기반으로 알림을 받을 수 있습니다.

단점:

• 데이터 보존 기간: 기본적으로 데이터 보존 기간이 짧아(일반적으로 15일) 장기간 저장에는 적합하지 않습니다.
• 수평 확장성 부족: 단일 인스턴스에서 실행되므로 대규모 환경에서는 수평 확장이 어렵습니다.
• 복잡한 쿼리: PromQL이 강력하지만, 복잡한 쿼리를 작성하기에는 학습 곡선이 있을 수 있습니다.

2. InfluxDB

장점:

• 장기 보존: 데이터 보존 기간을 유연하게 설정할 수 있어 장기 저장에 적합합니다.
• 수평 확장성: 클러스터 모드로 구성할 수 있어 수평 확장이 용이합니다.
• 쉬운 쿼리: InfluxQL을 사용하여 SQL과 유사한 방식으로 쿼리를 작성할 수 있어 직관적입니다.
• 데이터 압축: 데이터 압축 기능이 있어 스토리지 효율성을 높일 수 있습니다.

단점:

• 설정 복잡도: 초기 설정 및 구성 과정이 Prometheus보다 복잡할 수 있습니다.
• 비용: 상용 버전인 InfluxDB Cloud를 사용할 경우 비용이 발생할 수 있습니다.
• 쓰기 성능 제한: 대량의 데이터를 동시에 쓰기에는 성능이 제한적일 수 있습니다.

3. Graphite

장점:

• 오랜 역사: 안정성이 높고, 많은 커뮤니티 지원이 있습니다.
• 다양한 시각화 도구: Grafana와 같은 도구와 잘 통합되어 매트릭 시각화가 용이합니다.
• 쉬운 설치: 비교적 간단하게 설치하고 설정할 수 있습니다.

단점:

• 쿼리 언어: 쿼리 언어가 상대적으로 제한적이며, 복잡한 쿼리를 작성하기 어려울 수 있습니다.
• 데이터 보존 관리: 데이터 보존 정책을 관리하는 것이 Prometheus나 InfluxDB보다 복잡할 수 있습니다.
• 확장성 부족: 수평 확장이 어려워 대규모 환경에서는 한계가 있을 수 있습니다.

요약

• Prometheus: 간편한 설정과 강력한 쿼리 언어를 제공하지만, 데이터 보존 기간이 짧고 수평 확장성이 부족합니다.
• InfluxDB: 장기 보존과 수평 확장이 가능하지만, 초기 설정이 복잡하고 상용 버전에서 비용이 발생할 수 있습니다.
• Graphite: 안정성과 쉬운 설치가 장점이지만, 쿼리 언어와 데이터 보존 관리는 상대적으로 제한적입니다.

각 도구는 특정 사용 사례와 요구에 따라 선택할 수 있으며, 환경에 맞는 최적의 조합을 찾는 것이 중요합니다.

수집한 메트릭을

Prometheus

오픈소스 모니터링 및 경고 툴로, 시계열 데이터베이스를 사용하여 메트릭을 수집하고 저장합니다.

[jminkkk]

매트릭 모니터링 프로세스

EC2 서버에 Prometheus 설정

1. Prometheus 설정 파일(prometheus.yml)을 생성
2. Prometheus Docker 컨테이너를 실행합니다.
3. /prometheus 로 접속 시

EC2 서버에 Grafana 설정

• Grafana Docker 컨테이너를 실행
• Grafana에 Prometheus 데이터 소스를 추가
• 대시보드를 생성하거나 임포트합니다.