[if kakao 2022] ML 모델 학습 파이프라인 설계 (feat. MLOps 플랫폼)

간단 소개

카카오페이 MLOps 플랫폼 구축 사례를 통해 모델 학습 파이프라인 설계 및 AWS Step Functions, SageMaker Model Registry 활용 방안을 제시합니다.

AI Summary

MLOps 플랫폼 구축 배경
- 카카오페이는 다양한 AI/ML 모델을 운영하며, 모델별 서버와 피처 테이블을 개별 구축하여 중복 개발 및 관리 복잡성이 발생했습니다.
- 모델 서빙에 대한 개발 부채 증가와 개발/데이터 사이언티스트의 리소스 낭비가 심화되었습니다.
- MLOps 플랫폼 주요 컴포넌트
- 피처 스토어: 피처 재사용 및 통합 관리, 빠른 피처 서빙 지원
- 모델 학습 파이프라인: 모델 학습/재학습, 모델 산출물 관리
- 모델 서빙: 학습 완료된 모델을 서비스로 서빙
- 모델 학습 파이프라인 구축
- AWS Step Functions를 사용하여 모델 학습 Workflow를 템플릿화하고, 데이터 사이언티스트는 모델 코드와 설정 파라미터만으로 Workflow를 구축하도록 했습니다.
- AWS SageMaker Model Registry를 모델 레지스트리로 선정하여 모델 아티팩트와 성능을 관리하고, 모델 승인 프로세스를 구축했습니다.
- 모델 학습 파이프라인 배포 프로세스
- 데이터 사이언티스트가 모델 코드를 git 저장소에 push하면, Jenkins를 통해 AWS S3로 배포됩니다.
- S3에 파일이 PUT되면 Lambda가 Step Functions Workflow를 생성/실행하고, SageMaker Model Registry에 결과를 저장합니다.