Kubernetes GPU 클러스터에서 AI 서비스 오토스케일링하기

간단 소개

NAVER ENGINEERING DAY 2025에서 발표된 SNOW의 쿠버네티스 GPU 클러스터 기반 AI 서비스 오토스케일링 사례 소개.

AI Summary

SNOW의 GPU Orchestration 필요성
- 대규모 쿠버네티스 GPU 클러스터에서 AI 서비스를 운영하며 글로벌 트래픽에 동적으로 대응하기 위한 오토스케일링의 필요성 대두
- 기존 HPA의 한계를 극복하고 고도화된 오토스케일링 시스템 구축
GPU 기반 서비스 오토스케일링의 어려움 및 해결 방안
- GPU 기반 서비스의 특성상 오토스케일링이 어려운 이유 분석
- **KEDA(Event-Driven Autoscaler)**를 활용한 SNOW의 GPU Orchestration 시스템 소개
NAVER ENGINEERING DAY 소개
- 사내 개발 경험 및 기술 트렌드 교류를 위한 NAVER ENGINEERING DAY 소개
- 실무 기술 개발 경험 및 새로운 기술/플랫폼 도입 팁 공유