MySQL online alter부터 CPU 100% 장애까지

간단 소개

MySQL online alter 작업 후 CPU 100% 장애 발생 원인을 분석하고, 쿼리 최적화 및 캐시 구조 개선을 통해 해결한 경험 공유.

AI Summary

Online Alter 계획 및 실행
- Inplace Algorithm 시도 후 실패, Percona Toolkit의 online schema change 기능 활용.
- Staging과 Production 복제본에서 테스트 후 Production 환경에 적용.
CPU 100% 장애 발생 및 원인 분석
- 패키지 매출 랭킹 기능 배포 후 CPU 100% 도달, DB 접속 불가.
- 최적화되지 않은 쿼리와 비효율적인 캐시 사용 패턴이 문제 원인.
문제 해결 및 결과
- 쿼리 개선 (product_id 조건 통합, 불필요 조건 제거) 및 스케쥴러 서버를 이용한 단일 캐시 구조 도입.
- 패키지 매출 랭킹 기능 재활성화 후 CPU 사용량 정상화.