우리는 달에 가기로 했습니다. - Hybrid인프라부터 네트워크 최적화까지, 무신사 AI Infra구축기

AI 인프라 구축 배경 및 목표

• 클라우드 AI 비용 급증으로 지속 가능성 문제 직면, 온프레미스 GPU 운영의 필요성 대두.
• GPU 수급, 전력 등 난관에도 불구하고, 미래 혁신을 위한 하이브리드 AI 인프라 구축 결정.
• 목표는 비용 절감과 안정적인 AI 서비스 제공. 하이브리드 인프라 구현 과정
• AWS EKS HybridNode를 통해 온프레미스 GPU와 AWS 클라우드를 통합 클러스터로 구성.
• 레퍼런스 없는 '0 to 1' 도전으로, AWS CNI 대체, 애드온 직접 구성 등 광범위한 커스터마이징 수행.
• Karpenter를 활용한 seamless failover 및 AI 제품화를 위한 안정적 구조 구현. 성능 최적화 및 운영 전략
• 최대 95% 비용 절감 달성, 초저지연, 고안정성 AI 서비스를 위한 네트워크 최적화.
• eBPF Cilium 도입, ALB를 NLB로 전환, Sidecar 제거로 오버헤드 감소 및 성능 극대화.
• OpenTelemetry 기반 플랫폼 중립적 모니터링 및 Gateway API Inference Extension으로 우선순위 트래픽 라우팅 실험, 안정성 향상.