Ingress Nginx Controller의 Prometheus Metric 병목 현상: 원인 분석과 해결 (2부)

간단 소개

Ingress Nginx Controller의 Prometheus Metric 병목 현상 원인 분석 및 해결 과정과 upstreamLatency 메트릭의 변화를 다룹니다.

AI Summary

Ingress Nginx Controller Metric 병목 현상 분석 및 해결
- 대용량 트래픽 환경에서 **Ingress Nginx Controller(IC)**의 Prometheus metric 수집 과정에서 발생하는 병목 현상의 원인을 분석하고 해결 방법을 제시합니다.
- 1부에서는 문제 발생 배경과 IC의 구조적인 측면을 다루고, 2부에서는 근본적인 원인과 해결책을 모색합니다.
병목 원인 및 해결 과정
- goroutine 프로파일링을 통해 handleMessage() 함수의 latencyMetric.Observe() 부분에서 Mutex Lock 경합이 발생함을 확인했습니다.
- upstreamLatency 메트릭을 summary 타입으로 수집하는 과정에서 지연이 발생하고 Lock 경합이 심화되어 메모리 누수 및 **Grafana 집계 오류(No Data)**를 유발했습니다.
- 해결책으로 IC 리소스 증설(Scale Out) 또는 upstreamLatency 메트릭 수집 중단을 제시하고, 최종적으로 IC 노드 증설을 선택했습니다.
upstreamLatency 메트릭의 변화
- upstreamLatency는 과거 deprecated된 지표였으나 하위 호환성을 위해 기본 설정으로 수집되었지만, v1.12.0 버전부터 기본 집계 대상에서 제외되었습니다.