Grafana의 Alert 설정

준비물은 Grafana의 기본적인 설정과 시각화 할 수 있는 데이터 소스입니다.

 

현재 Grafana를 통해 Alert를 설정하고 있습니다.

개인 프로젝트이기에 엄청 심화된 내용은 다루지 않으니 처음 하시는 분들이 참고하시기에 좋을 것 같습니다.

 

먼저 Grafana의 Alert 메뉴입니다.

1. Alert rules - 임계값이나 여러 표현식을 사용하여 알람을 설정하는 메뉴입니다.

2. Contact points - Alert message의 템플릿을 만들거나 Alert를 어떠한 플랫폼(gmail, slack 등)으로 전송할지 정하는 메뉴입니다.

3. Notification policies - Label을 체계적으로 정리하여 그룹화 시켜 확인할 수 있는 메뉴입니다.

4. Silences - 특정 시간에 Alert를 울리지 않게 하는 메뉴입니다.

5. Alert groups - 아직 이부분은 정확히 모르겠습니다.

6. Admin - Alert의 Json파일을 확인할 수 있고 외부의 Alertmanager랑 연동할 수 있습니다.

 

 

 

1. Alert rules

이처럼 기본적인 Alert를 만드는 메뉴입니다.

현재 저는 CPU와 RAM 등 몇가지 데이터에 임계값을 설정하였습니다.

 

Alert 왼쪽의 화살표를 눌러 정보를 살펴보면 Label들을 볼 수 있고 Silence설정이나 history등을 볼 수 있습니다.

 

한 번 새로운 알람을 만들어 보겠습니다.

 

1. Rule name을 정하고 자신에게 맞는 Rule type과 Folder를 선정합니다.

 

2.  A는 어떠한 값을 기준으로 Alert를 발생시킬지 값을 추출하는 쿼리문을 작성합니다.

B는 A의 값을 어떠한 기준으로 Alert를 발생시킬지 Alert의 기준을 설정합니다.

 

3. Math는 수학식을 이용해 표현하며, Reduce는 특정한 값만을 추출하는 것 같습니다. (조금 더 공부해보겠습니다)

Classic condition은 최소값, 최대값, 평균값 등 일반적인 기준을 설정할 수 있습니다.

Resample은 공식문서에 따르면

Resample changes the time stamps in each time series to have a consistent time interval. The main use case is so you can resample time series that do not share the same timestamps so math can be performed between them.

라고 합니다만 정확히 기능을 이해하지는 못했습니다.

 

4. 여기서 저는 math가 좀 강력한 기능이라고 생각해서 다음과 같이 설정해봤습니다.

https://cleaning-toolbox.tistory.com/91?category=953693 

Grafana에 Alert를 어제의 값과 비교해서 설정해보자

 

5. 다음은 어떤 항목을 신호로 Alert를 발생할 지 설정하며 5분동안 1분간격으로 판단하는 의미입니다.

 

6. 그 후 해당 Alert에 대한 내용을 작성하며 맨 밑에 Label을 추가함으로 확장된 기능들을 사용할 수 있습니다.

예를 들어 Level=1, Level=2, Level=3으로 Label을 붙여 Level마다 다른 플랫폼으로 Alert를 발생시킬 수 있습니다.

Level3은 Gmail로, Level2는 Discord가 가능해집니다.

 

7. 설정을 끝냈으면 Contact Points에서 필요한 부분을 설정합니다.

템플릿이 필요하면 템플릿 작성을, 여러 플랫폼으로 Alert를 발생하려면 Contact point를 설정하면 됩니다.

Contact point는 구글링하면 많은 예시가 있기에 패스하겠습니다.

 

8. 이렇게 설정하면 기본적으로 Alert설정이 끝났습니다. 

 

Grafana가 6월에 Grafana9로 업데이트하는데 또 어떠한 기능들이 추가될지 기대와 함께 걱정도 됩니다.

하지만 업데이트 될수록 하나의 Grafana를 가지고 할 수 있는 기능들이 많아지기에 열심히 공부하는게 좋은 것 같습니다.