Ingress Nginx Controller의 Prometheus Metric 병목 현상: 원인 분석과 해결 (1부)

간단 소개

카카오 Ingress Nginx Controller의 Prometheus metric 유실 문제 원인 분석 및 해결 과정 (1부): 트래픽 증가에 따른 Socket 과다 생성 및 Goroutine 누적 현상 분석.

AI Summary

Ingress Nginx Controller Metric 유실 문제
- 카카오 광고 API 서버의 Ingress Nginx Controller에서 Prometheus metric 유실 발생
- Nginx request volume이 No Data로 표시되거나, 정상치보다 매우 낮게 기록되는 현상 발생
- 서버는 정상적으로 요청을 처리하고 있었으며, 트래픽이 일정 기준치를 상회할 때 재현됨
원인 분석 및 병목 지점 확인
- Ingress Nginx Controller Pod의 Memory 사용량이 비정상적으로 증가하는 것을 확인
- Pod는 Nginx와 Ingress Nginx Controller 두 개의 Process로 구성
- Nginx는 Lua script를 통해 Controller에 Metric을 전송하고, Controller는 Go로 작성됨
- /tmp/prometheus-nginx.socket에 Socket이 과도하게 쌓이는 현상 발견
- Controller의 handleMessages() 함수가 트래픽 증가에 따라 느려져 Goroutine이 누적되는 것이 원인으로 추정
결론 및 향후 계획
- Metric 처리 과정에서 Critical Section 보호를 위한 Mutex 관련 로직이 병목의 원인일 가능성 제시
- 2부에서는 Go 프로파일링을 통해 handleMessages() 함수의 성능 저하 원인을 분석할 예정