[장애회고] ORM(JPA) 사용 시 예상치 못한 쿼리로 인한 HikariCP 이슈

간단 소개

ORM 사용 중 예상치 못한 쿼리로 인한 HikariCP 이슈 분석 및 해결 과정, 관련 에러 재현 및 HikariCP 로깅 설정에 대한 상세 분석.

AI Summary

장애 원인 분석
- ORM(JPA) 사용 시 예상치 못한 쿼리가 문제의 근본 원인이었음
- 세금 계산서 관련 Entity를 약 46만 건 한 번에 호출하는 쿼리가 발생
- 해당 쿼리로 조회한 Entity가 Heap Memory를 모두 차지하여 Full GC가 계속 수행되는 상황 발생
- 새로운 요청까지 계속 유입되어 서버 재실행 전까지 CPU, Memory 과부하 발생
에러 로그 분석 및 재현
- Connection is not available. request timed out 예외는 HikariCP에서 Connection을 얻을 때 대기 시간이 초과될 경우 발생
- Unable to commit(rollback) against JDBC Connection 예외는 Connection이 DB의 wait_timeout 시간 동안 활동이 없을 때 발생
- OutOfMemoryError: GC overhead limit exceeded는 Heap Memory 부족으로 GC를 수행했지만 확보가 되지 않을 때 발생
HikariCP Connection Leak 로깅 설정
- HikariCP의 현 상태 로깅을 통해 Pool 상태와 Connection 활성화 여부 확인 가능
- leak-detection-threshold 옵션을 통해 Connection 반환이 늦어지는 슬로우 쿼리 유무 판별 가능
- 실제 누수가 발생하면 SQLException과 함께 관련 로그가 출력됨