데브시스터즈의 장애 대응 원칙과 방법

간단 소개

데브시스터즈의 장애 대응 원칙, 알람 티어링 체계, 효과적인 장애 대응 방법 및 포스트모템 절차를 상세히 설명합니다.

AI Summary

장애 대응 원칙
- 서비스 정상화가 최우선 목표이며, 모든 구성원이 응급 조치 역량을 갖춰야 함
- 필요시 적극적으로 도움을 요청하고, 장애 대응을 위한 환경(랩탑, 테더링)을 준비해야 함
- 알람 시스템 구축 및 건전성 유지, 액션 기록 및 공유가 중요
알람 티어링 체계
- FRT(First Response Time) 기준으로 Tier 0(15분 이내), Tier 1(평일 15분/밤 12시간 이내), Tier 2(평일 2-3시간/밤, 주말 다음 업무일)로 분류
- 각 티어별 정의, 장애 인지 방법, 장애 유형을 상세히 정의
효과적인 장애 대응 방법
- 장애 인지 즉시 팀 채널에 공유 후 대응 팀 구성 (지휘자, 기록가 역할 분담)
- 원인 파악, 해결 방안 탐색 및 시행, 해결 여부 확인 과정을 거침
- Datadog Incident 기능을 활용하여 장애 선언 및 전용 채널 구성
- 장애 종료 후 공유, 포스트모템 준비 및 미팅 진행 (원인 분석, 재발 방지 대책 수립)