Service Discovery DR 구성 2부 - Chaos Test로 찾은 예기치 못했던 문제를 고쳐라!

간단 소개

Eureka DR 구성 중 Chaos Test를 통해 발견된 High Network Latency 문제를 오픈소스 컨트리뷰션으로 해결한 과정.

AI Summary

Eureka DR 구성 및 Chaos Test 도입 배경
- 11번가는 MSA 환경에서 Eureka를 Service Discovery로 사용하며, IDC와 AWS를 혼용하는 Hybrid Cloud 환경으로 전환 중.
- DR 구성의 일환으로 EKS에 Eureka Server 인스턴스를 추가하여 IDC 서버와 Replication 구성.
- 실제 장애 상황에서 의도대로 동작하는지 검증하기 위해 Chaos Engineering 도입.
Chaos Test를 통한 문제 발견 및 해결
- Chaos Mesh와 ToxiProxy를 사용하여 네트워크 장애를 주입, High Network Latency 상황에서 Zone Failover가 발생하지 않는 문제 발견.
- 원인은 Apache HttpClient의 Default Timeout이 무한대로 설정되어 있어 응답을 무한히 대기하는 현상 때문.
- Spring Cloud Netflix에 Timeout 설정 Property가 없어, 오픈소스 컨트리뷰션을 통해 Default Timeout을 지정할 수 있도록 수정.
결론 및 시사점
- Chaos Engineering을 통해 예기치 못한 문제를 발견하고 해결하여 시스템 안정성을 향상.
- 오픈소스 컨트리뷰션을 통해 문제 해결 방안을 공유하고, Spring Cloud 최신 버전에 반영.