우리는 달에 가기로 했습니다. - Hybrid인프라부터 네트워크 최적화까지, 무신사 AI Infra구축기

**AI 인프라 구축 동기 및 도전** * **AI 비용** 폭증과 **GPU 공급난**으로 **지속 가능한 AI**를 위해 **온프레미스 GPU** 운영 필수. * 초기 **관리형 서비스**의 높은 비용 기울기 문제 직면. **하이브리드 인프라 구축 및 난관 극복** * **AWS EKS HybridNode** 도입, **RTX 4090**으로 시작하여 **H100/H200** 확장. * **AWS CNI** 및 **Karpenter** 충돌 등 **레퍼런스 없는** 기술적 난관을 직접 해결, **seamless failover** 구현. * **전력/냉방** 등 물리적 인프라 구축 및 운영 리스크 직접 감당. **네트워크 최적화 및 미래 전략** * **초저지연** 및 **안정성** 확보를 위해 **kube-proxy**를 **eBPF Cilium**으로, **ALB**를 **NLB**로 전환. * **OpenTelemetry** 기반 **플랫폼 중립적 관측성** 구축. * **Gateway API** 활용, **요청 가치**에 따른 **우선순위 라우팅** 실험으로 시스템 안정성 향상.