사이트 신뢰성에 대한 지표는 어떻게 구성할까? (Feat. SRE)

간단 소개

사람인 SRE팀은 SLI/SLO 기반 지표를 구축하고, 데이터 시각화 및 Elasticsearch Transforms을 활용하여 서비스 신뢰성을 향상시켰습니다.

AI Summary

SLI/SLO 정의 및 필요성
- **SLI(서비스 수준 지표)**와 **SLO(서비스 수준 목표)**를 정의하여 서비스 수준을 측정하고 목표를 설정하는 것이 중요합니다.
- 사람인 SRE팀은 서비스 레벨 지표 부족을 해결하고자 사이트 신뢰성을 위한 지표를 설정했습니다.
데이터 수집 및 시각화
- 웹서버 로그($status, $host, $upstream_response_time, $request)를 활용하여 데이터를 수집하고 Elastic에 적재하여 시각화했습니다.
- Kibana Canvas를 사용하여 여러 대시보드를 통합하고, 각 대시보드별 기간 설정 및 조회가 가능하도록 구현했습니다.
데이터 처리 및 장기 보관
- Reindexing을 통해 불필요한 필드를 제거하여 데이터 양을 줄였습니다.
- Elasticsearch Transforms의 Pivot 기능을 사용하여 데이터를 집계하고 요약하여 장기 보관에 용이하도록 만들었습니다. 이를 통해 대시보드 로딩 속도 향상 및 성능 개선을 이루었습니다.