“서버가 죽었어요”에서 시작된 이야기, Grafana OnCall과 Amazon Connect로 완성한 실전형 온콜 시스템

온콜 시스템 구축 동기

• SRE 엔지니어의 야간 장애 대응 부담 경감 및 비용 효율적 알림 시스템 필요성 대두.
• 고가 상용 솔루션 대신 Grafana OnCall, Amazon Connect, Slack 조합으로 자동 전화 알림 시스템 구축.
• Grafana OnCall 기반 통합
• LGTM Stack에 Grafana OnCall을 통합, 관측-대응 전 과정 관리 및 온콜 일정, 라우팅, Slack 동기화 제공.
• AWS RDS(MySQL) 연동으로 데이터 영속성 확보, Helm Chart로 EKS 배포.
• Amazon Connect로 사용량 기반 전화 알림 비용 최적화 및 음성 안내 자동화.
• 실시간 감지 및 자동 알림
• AWS ELBv2 API 호출로 Target Group Unhealthy 상태 실시간 감지.
• OnCall DB에서 iCal 데이터 파싱, 담당자 전화번호 조회 후 Amazon Connect로 즉시 발신.
• 알림 피로도 감소를 위해 DB 상태 관리 및 Slack '전화 중지' 버튼으로 통화 제어.
• 야간/주말 알림, Team 태그 기반 라우팅 등 운영 팁 적용.