AI 플랫폼 GPU 도입부터 Kubeflow까지 도입기

AI 플랫폼 도입 배경 및 문제점

• 카카오페이는 기존 AI 시스템의 반복적인 수작업과 비효율성으로 개발 속도 저해 및 서비스 안정성 위협 문제를 겪었습니다.
• 레거시 시스템은 수동 컨테이너 이미지 빌드 및 GPU 서버 배포 구조로, 표준화, 확장성, 통합을 위한 새로운 AI 플랫폼 구축이 필요했습니다.

Kubeflow 기반 AI 플랫폼 구축

• 온프레미스 환경에 적합한 쿠버네티스 기반 Kubeflow를 선택하여 기존 시스템과의 일관성 및 확장성, 통합성을 확보했습니다.
• Kubeflow는 파이프라인과 컨테이너 기술로 표준화된 개발 환경을 제공하고, 쿠버네티스를 통해 GPU 자원 동적 할당 및 오토스케일링으로 효율성을 증대했습니다.
• 하이브리드 클러스터 아키텍처로 H200 GPU와 RDMA, Infiniband 네트워크를 통합하여 대규모 분산 학습 성능을 극대화했습니다.
• MIG(Multi-Instance GPU) 기술을 도입하여 하나의 물리 GPU를 여러 인스턴스로 분할, GPU 활용률 및 투자 효율을 극대화했습니다.

플랫폼 최적화 및 운영 전략

• Knative의 Scale to Zero 기능은 콜드 스타트 문제로 인해 최소 복제본(minReplicas) 1개 유지 정책으로 변경하여 서비스 응답 속도를 보장했습니다.
• GPU 자원 최적화를 위해 '사용처', '사용 모델', '모델 크기' 기준을 마련하여 MIG 인스턴스를 워크로드에 맞게 할당했습니다.
• 그라파나 대시보드를 통해 GPU 자원 할당량, 유휴 자원, 사용량 등을 모니터링하며 지속적인 플랫폼 개선 및 효율을 극대화하고 있습니다.