Kurly만의 MLOps 구축하기 - 초석 다지기

간단 소개

컬리 MLOps 구축 초석 다지기: Karpenter를 활용한 GPU 자동 프로비저닝 및 디프로비저닝 환경 구축 과정을 소개합니다.

AI Summary

MLOps 도입 배경 및 필요성
- 컬리도 ML 앱 증가로 운영 부담이 커져 MLOps에 대한 필요성이 대두됨
- 기존 환경(Airflow, JupyterHub, MLFlow)은 독립적 운영, 특히 GPU 자원 관리의 어려움 존재
- 통합 환경 및 자동 GPU 프로비저닝/디프로비저닝 필요
Karpenter를 활용한 GPU 환경 구축
- Karpenter는 Kubernetes Worker Node 자동 확장 오픈소스 프로젝트로, 기존 Auto Scaling 대체 가능
- Karpenter는 신규 Pod를 감지, Worker Node를 자동 추가/삭제하여 비용 효율화 및 운영 부담 최소화
- Provisioner를 통해 노드 프로비저닝 제약 조건, timeout 설정 등을 관리하고, GPU 요구 사항을 설정하여 GPU 서버 프로비저닝
GPU Deprovisioning 및 추가 설정
- **NVDP(NVIDIA device plugin for Kubernetes)**를 통해 GPU 노드에 Nvidia 관련 설정 필요
- Affinity 설정을 통해 GPU 미사용 파드가 GPU 노드에 할당되는 것을 방지하여 Deprovisioning 문제 해결
- Karpenter Consolidation 옵션을 사용하여 노드 관리 자동화 (CRD 업그레이드 필요)