RDS MySQL IOPS 장애 대응기

간단 소개

RDS MySQL IOPS 장애 대응 과정과 원인 분석, 스케일 업을 통한 해결 방법, 그리고 추가적인 개선 방안을 제시합니다.

AI Summary

장애 상황 및 원인 분석
- 퇴근 직전 user 서비스 에러율 증가, CPU throttle, 메모리 사용량 급증, MySQL replica connection 수 폭증 발생
- RDS 모니터링 결과, IOPS 증가로 burst balance 소진, DB 성능 저하
- storage 증설로 응급 조치 후, 높은 Disk I/O 원인 조사 착수
- 1년간 IOPS 추세 분석 결과, 2배 증가 및 높은 요청 대비 I/O 비율 확인
문제 해결 및 개선
- InnoDB Buffer pool hit ratio는 98%로 cache miss가 원인이 아님을 확인
- AWS 권장 사항에 따라 working set 크기 확보를 위해 RDS RAM 사이즈 스케일 업 결정
- m5.2xlarge에서 r6g.2xlarge, r6g.4xlarge로 인스턴스 타입 변경 및 메모리 확장 (32GB -> 61GB -> 128GB)
- 스케일 업 후 Read IOPS 감소, Freeable memory 증가, Read throughput 감소 효과 확인
추가 고려 사항
- DB 인스턴스 가격 상승에 따른 인덱스 사이즈 최적화 및 다운사이징 검토 필요
- DynamoDB 등 다른 스토리지 사용 시 성능/가격 비교를 통한 개선 가능성 모색
- Redis 캐시 추가는 시스템 복잡도 증가 및 장애 시 burst 발생 가능성으로 인해 보류