신뢰성 향상을 위한 SLI/SLO 도입 2편 - 플랫폼 적용 사례

간단 소개

LINE 미디어 플랫폼 OBS에 SLI/SLO를 도입하여 신뢰성을 향상시킨 사례와 기술적 해결 과정을 공유합니다.

AI Summary

미디어 플랫폼 OBS의 SLI/SLO 도입 배경
- LINE 서비스의 핵심인 미디어 플랫폼 OBS의 신뢰성 확보가 중요.
- 서비스가 아닌 플랫폼 자체에 SLI/SLO를 정의하여 문제 발생 시 즉각적인 대응 가능.
- 다양한 LINE 서비스에 미치는 영향력을 고려, 별도 SLI/SLO 설정.
CUJ 정의 및 메트릭 수집
- 주요 API(DOWNLOAD, UPLOAD, OBJECT_INFO)를 CUJ로 설정, 각 기능별 SLI/SLO 정의.
- 가용성, 처리량, 대기 시간 등을 SLI로 활용하되, 서비스별 편차를 고려하여 처리량은 참고 지표로 활용.
- Kafka, Vector, Prometheus, Grafana를 이용한 메트릭 수집 아키텍처 구축.
Vector 최적화 및 Recording Rules 적용
- 대량의 로그 처리 문제를 해결하기 위해 Vector 클러스터 확장 및 고도화.
- 높은 카디널리티와 복잡한 PromQL로 인한 성능 저하를 Recording Rules를 통해 해결, 쿼리 성능 개선.
- SLI 요약 및 CUJ별 상세 대시보드를 통해 서비스 상태를 한눈에 파악하고, Slack 연동 알람을 통해 즉각적인 대응 가능.