쿠키런: 킹덤 AWS AZ 장애 아웃라인

간단 소개

쿠키런: 킹덤 AWS AZ 장애 발생 원인 분석, 대응 과정, 그리고 멀티 AZ 전략의 중요성을 강조하며 얻은 교훈을 공유합니다.

AI Summary

AWS AZ 장애 발생과 CockroachDB
- 2021년 2월 AWS 도쿄 리전 데이터센터의 냉각 시스템 고장으로 CockroachDB 노드에 장애 발생.
- 분산 데이터베이스임에도 불구하고 예상치 못한 다수의 노드 장애가 동시에 발생하여 문제 발생.
- AZ 장애에 대한 대비 부족이 주요 원인으로 작용.
장애 대응 과정 및 해결
- 54대 생존 노드에서 데이터 백업 시도, 깨진 Range 제외 후 새 테이블로 데이터 이사.
- debug unsafe-remove-dead-replicas 명령어(현재는 debug recover로 대체)를 활용하여 Range 복구 시도.
- Cockroach Labs 엔지니어의 도움을 받아 흑마법 명령어를 실행, 일부 Range 복구 성공.
교훈 및 개선 사항
- 멀티 AZ 전략의 중요성을 인지하고 Locality 설정을 통해 데이터 분산.
- Helm Chart 관리 방식을 개선하여 AZ별로 values 파일을 사용하는 방식으로 변경.
- 제3자에 대한 의존도를 줄이고 자체적인 대비 강화.