페타바이트 트래픽 원인 분석기

간단 소개

EKS 환경에서 CloudWatch Container Insights를 사용 중 페타바이트 단위의 비정상적인 트래픽을 발견, 원인 분석 결과 uint64 언더플로우 문제임을 확인하고 해결함.

AI Summary

CloudWatch 대시보드 이상 감지 및 원인 분석
- EKS 환경에서 CloudWatch Container Insights를 통해 서비스 상태를 모니터링하던 중 페타바이트 단위의 비정상적인 트래픽 수치를 발견함.
- CloudWatch 메트릭 수집 방식 분석 결과, cAdvisor를 활용하여 컨테이너의 리소스 및 성능 메트릭을 수집하는 것을 확인.
uint64 언더플로우 문제 확인 및 해결
- 트래픽 계산 로직에서 cur.RxBytes의 데이터 타입이 uint64이므로 언더플로우 발생 가능성을 확인하고, 실제 로그를 통해 과도한 트래픽 발생 및 언더플로우 현상 확인.
- cAdvisor가 /proc//net/dev에서 네트워크 메트릭을 가져오는데, Pod 재시작 시 값이 초기화되면서 언더플로우가 발생하는 것을 파악하고 문제 해결.