장애 모의 훈련 그리고 배운 점

간단 소개

Hyperconnect SRE팀의 장애 모의 훈련 경험 공유: 시나리오 설계, 훈련 과정, 결과 분석 및 개선 사항.

AI Summary

장애 모의 훈련 도입 배경
- Hyperconnect는 대규모 서비스 장애 발생 시 복잡한 시스템과 다양한 부서 간의 컨텍스트 차이로 인해 복구에 어려움을 겪음
- SRE팀은 장애 대응 능력 향상을 위해 실제 장애와 유사한 상황을 가정한 모의 훈련을 기획
훈련 시나리오 및 준비 과정
- API 서버, 매치 서버, 매치 추천 AI 컴포넌트를 대상으로 Elasticache 네트워크 장애, 매칭 알고리즘 설정 오류, Availability Zone 장애 등 다양한 시나리오 설계
- Stage 환경을 Production과 유사하게 구축하고, 가상 트래픽 생성 및 모니터링 환경 준비
훈련 결과 및 개선점
- 일부 시나리오에서 시간 초과로 대응에 실패했지만, 다른 시나리오에서는 성공적으로 장애 완화
- 근본 원인 파악보다 빠른 완화에 집중, 팀 간 지표 공유 강화, SRE팀의 디렉션 능력 강화 등 개선점 도출