백패커의 Amazon EKS 운영 최적화 여정 2부: 운영 심화 및 장애 대응 사례

간단 소개

백패커의 EKS 운영 최적화 및 장애 대응 사례 분석: Spot 인스턴스 활용 문제 해결, 트래픽 급증에 따른 장애 대응 전략.

AI Summary

Spot 인스턴스 활용 및 문제 해결
- ASG의 AZ Rebalance로 인한 인스턴스 종료 문제 발생, AZ Rebalance 기능 비활성화로 해결
- Spot 인스턴스 리밸런스 이벤트로 인한 Pod 중단 문제 발생, On-Demand Node에 최소 1개 이상의 Pod 배치로 해결
- Custom Scheduler를 활용하여 On-Demand와 Spot 인스턴스를 적절히 조합, 안정성과 비용 최적화 달성
트래픽 급증으로 인한 서비스 장애 해결
- 설날 이벤트 당시 트래픽 급증으로 서비스 장애 발생, istio Node의 nf_conntrack 테이블 초과가 주요 원인
- nf_conntrack max 값 상향 조정, istio Mesh 네트워크 설정, istio Node 인스턴스 타입 업그레이드, 모니터링 강화 등의 후속 조치 진행
- istio Node의 네트워크 성능 개선 및 부하 감소, 장애 예방 및 대응 능력 향상