버즈빌의 ML 플랫폼 Buzzflow (1) - 모델을 개발하고 관리하기

간단 소개

버즈빌의 ML 플랫폼 Buzzflow는 머신러닝 모델 개발, 관리, 배포를 위한 통합 환경을 제공하여 생산성을 향상시킨다.

AI Summary

Buzzflow 개발 배경
- 기존 머신러닝 파이프라인의 컨벤션 부재, SDK 인지 부하, 권한 관리 미흡, 모델 저장소 혼용 등의 문제점을 해결하기 위해 Buzzflow 개발이 시작됨.
- Sagemaker Pipeline SDK 사용 시 머신러닝 프레임워크별 파라미터 차이로 인한 인지 부하가 컸음.
Buzzflow 주요 기능 및 특징
- YAML 기반 파이프라인 정의: 모델 코드와 파이프라인 코드를 분리하고, OmegaConf를 활용하여 중복 정의를 줄임.
- SDK 래퍼: Sagemaker Pipeline SDK를 추상화한 래퍼를 통해 파라미터 통일 및 입력 검증을 강화함.
- 로컬 모드: 로컬 환경에서 파이프라인을 테스트하고 리소스 사용량을 측정하여 인스턴스 최적화를 지원함.
- 모델 저장소: MLFlow로 모델 저장소를 통일하고, experiment manager 패키지를 통해 사용자 편의성을 높임.
- 권한 관리: 리서치와 프로덕션 환경을 분리하고, PR 기반의 코드 리뷰 및 CI를 통해 프로덕션 파이프라인 변경을 관리함.