Karpenter 파일럿

간단 소개

사람인 SRE팀에서 AWS EKS 환경을 안정적이고 확장성 있게 운영하기 위해 Karpenter를 도입하고 테스트한 과정과 운영 전략을 공유합니다.

AI Summary

Karpenter 도입 배경 및 문제점
- 기존 EKS 환경의 문제점: 신규 서비스의 낮은 인스턴스 타입 설정, 배포 시 잦은 Node Not Ready 상태, 느린 Auto Scaling Group 감지 속도, 수동 노드 그룹 관리로 인한 On-Demand 비용 증가 및 안정성 결여.
- Karpenter는 CA와 달리 노드 그룹 없이 인스턴스를 직접 관리하여 이러한 문제점을 해결하고자 함.
Karpenter 운영 전략 및 테스트
- Karpenter Controller 분리: Karpenter Controller가 생성한 노드에서 Karpenter Controller가 동작하는 것을 방지하기 위해 Taint & Toleration 설정.
- 다중 Node Pool 운영: RI 계약된 ASG 노드와 Karpenter On-demand 노드를 함께 운영하며, Spot Instance Nodepool과 On-demand Instance Nodepool을 분리하여 disruption 정책을 다르게 적용하고 weight 설정을 통해 Spot Instance 우선 할당.
- 토폴로지 분배 제약 조건(TopologySpreadConstraints)을 사용하여 각 AZ에 파드가 균등하게 배포되도록 설정.
- Kubelet 설정: Reserved 영역 지정, Image Garbage Collection WaterMark 설정, evictionHard 설정 등을 통해 노드 안정성 확보.
- 비업무 시간에는 Karpenter 노드가 중지되도록 CronJob과 Python code를 활용하여 비용 효율성 증대.
Karpenter 운영 시 고려사항
- Karpenter는 Pod의 Pending 상태를 감지하여 노드를 늘리는 단순 메커니즘이지만, 시스템에 큰 영향을 미치므로 안정적인 운영을 위해 많은 전략 및 테스트가 필요함.
- Descheduler와 Karpenter의 시너지 효과를 기대했으나, EKS의 기본 ScoringStrategy로 인해 HighNodeUtilization 기능이 제대로 동작하지 않음.
- Spot Instance 할당 시 instance-type을 지정하여 원하는 타입의 인스턴스를 할당받도록 함.