버그가 아니라 장애를 잡아라!! QA와 카오스 엔지니어링의 만남

간단 소개

올리브영은 카오스 엔지니어링을 도입하여 예상되는 장애에 대비하고 시스템 복원력을 강화하여 서비스 안정성을 확보하고자 합니다.

AI Summary

카오스 엔지니어링 도입 배경
- 24시간 운영되는 이커머스 서비스의 잠재적 장애 요인(인프라, 코드, 설정, 데이터, 휴먼 에러)은 QA만으로 완전한 안정성 보장 불가.
- 장애 발생 시 인력 투입, 서비스 중단, 데이터 손상 등 문제 발생 가능.
- 예측 가능한 장애에 대한 서비스 안정성 확보를 위해 카오스 엔지니어링 도입.
카오스 엔지니어링의 개념 및 실험 종류
- 카오스 엔지니어링은 고의적 장애 유발을 통해 시스템의 **복원력(Resilience)**을 높이고 취약점을 사전에 발견, 개선하는 방법론.
- 주요 실험 유형: Application Level, Host Level, Resource Attack, Network Attack, AZ Attack, Region Attack, People Attack.
- 올리브영은 Application Level, Host Level, Resource Attack 우선 적용.
Application Level 테스트
- API 응답의 null exception 문제 방지를 위해 mitmproxy를 이용, API 필드에 null 값을 주입하는 실험 진행.
- 목표: API value에 null이 넘어와도 서비스는 정상 이용 가능해야 함.
- mitmproxy를 통해 API 목록 파일을 기반으로 응답 값을 자동 변환하여 테스트 효율성 증대.
- 테스트 중 에러 바운더리 미비점을 발견, 개선하여 서비스 안정성 강화.