[Azure] Container Insight와 Log Analytics(Alert 생성)

(Log Analytics)

Azure Monitor의 Log Analytics 개요 - Azure Monitor

 

 

(Container Insight)

Azure Monitor의 Kubernetes 모니터링 - Azure Monitor

---

1. Azure Monitor (Insight)

Azure Monitor (Insight)

• Container Insights + Managed Prometheus + Grafana + App Insights 등의 대한 전체 Observability 기능
• Azure Monitor는 메트릭, 로그(Log Analytics), 경고(Alerts) 등을 관리
• Container Insight는 Azure Monitor 위에서 작동하며 컨테이너의 성능(CPU, 메모리) 및 로그를 시각화 및 분석
• Insight를 활성화하지 않고 Azure Monitor만 작동하게 되면 클러스터 전체 CPU 사용률, 네트워크 처리량 등 만 보임.
• Insight를 활성화하게 되면 클러스터 안의 Agent를 통해 노드-컨트롤러-컨테이너에 대한 구체적인 로그 검색이 가능해짐.

 

Container Insight에 대한 이벤트 로그

• Insight에서 이벤트 로그를 실시간으로 확인할 수 있으며, 현재로부터 24시간의 로그를 확인 할 수 있음.
• KubeEvents OOMKilling에 대한 로그를 확인 가능.

---

2. Log Analytics 구성

Log Analytics에서 나온 KubeEvents 테이블의 OOMKilling 로그

• Container Insight를 통해 POD에 대한 OOMKilling 이벤트를 확인할 수 있고 그러한 로그를 Log Analytics에서도 확인 가능.
• 어떤 AKS 노드에서 발생했는지 확인할 수 있음.
• 로그 조회하는거에 대해선 KQL을 통해 원하는 로그를 검색할 수 있음.

KubeEvents
| where Reason == "OOMKilling"
| project TimeGenerated, Namespace, Name, Reason, Message
| order by TimeGenerated desc

• 위 쿼리문을 통해 특정 로그를 검색 할 수 있음.

---

3. Log Analytics Alert(알림) 생성

• Log Analytics를 통해 새 경고 규칙을 생성할 수 있음.

 

• 특정 쿼리를 통해 원하는 로그를 검색

 

• 테이블 행 개수를 기준으로 5분 단위로 집계
• 임계값 즉 테이블 행 개수가 0보다 클 시 알림(Alert) 보냄

• 작업 탭에서 작업 그룹을 만들 수 있음.

 

• 알림 형식을 만들 수 있음.
• 메일, SMS 메시지 등을 통해 전송 가능.

이렇게 생성한 작업을 선택해서 Alert를 생성 할 수 있음.

 

---

4. 결과

• 메일로 설정한 경우 해당 로그가 발생하고 임계값이 0보다 클 시 이렇게 Alert 을 받을 수 있다.