요기요 카오스 엔지니어링 (1) 카오스 실험 시작하기

카오스 엔지니어링 소개

• 카오스 엔지니어링은 운영 시스템에 의도적으로 **장애(chaos)**를 주입하여 시스템의 안정성과 내구성을 강화하는 기법입니다.
• 넷플릭스는 Chaos Monkey와 Simian Army (Chaos Gorilla, Latency Monkey 등)를 통해 고가용성(HA) 및 자동 복구 아키텍처의 중요성을 입증했습니다. 요기요 카오스 실험 시작
• 대상 서비스는 사용자 멤버십 관리 서비스인 membership-yo, 실험 환경은 stage-integration으로 정의했습니다.
• 시나리오는 pod 네트워크 지연 및 외부 API 통신 장애로 설정하여 단계적으로 시스템 상태를 검증하고자 했습니다.
• 장애 주입 도구로 AWS FIS를 선정하고, latency, pod 개수, 5xx HTTP 상태코드 등을 주요 모니터링 지표로 정의했습니다. AWS FIS 사용 중 이슈 해결
• Istio service mesh 환경에서 FIS pod가 Kubernetes API server와 통신하지 못하는 문제가 발생했으며, Istio Proxy 주입 비활성화 Annotation으로 해결했습니다.
• FIS pod가 생성하는 임시 컨테이너의 root 권한 부족 문제가 발생하여, 실험 환경에 한정하여 root 권한을 임시로 허용하는 설정으로 해결했습니다.