99%가 모른다는 DB Connection 누수 문제

간단 소개

컬리에서 DB Connection 누수 문제를 해결한 경험 공유. 원인 분석, 해결 방법, 교훈을 통해 안정적인 서비스 운영의 중요성을 강조.

AI Summary

DB Connection 누수 문제
- 컬리에서 JDBC Driver 변경 후 EC2 OOM 발생, 원인은 DB Connection 누수.
- Connection 누수는 Out Of Memory, GC 공간 확보 불가, API 응답 시간 지연 등의 증상 유발.
원인 분석 및 해결
- Heap Dump 분석 결과, AbandonedConnectionCleanupThread가 메모리 대부분 점유.
- Connection 생성 시 AbandonedConnectionCleanupThread가 PhantomReference 생성, Connection 종료 시 네트워크 리소스 정리.
- 낮은 max-lifetime 설정으로 인해 AbandonedConnectionCleanupThread의 처리 속도가 Connection 생성 속도를 따라가지 못해 누수 발생.
- 해결책으로 max-lifetime 증가 또는 AbandonedConnectionCleanupThread 비활성화 제시 (mysql-connector-j 8.0.22 이상에서 지원).
결론 및 교훈
- AbandonedConnectionCleanupThread 비활성화 후 메모리 점유율 감소, 서비스 안정화.
- 트래픽 문제로 오인하기 쉬우므로, CPU/메모리 증가 시 Heap Dump 분석 습관 중요.