토스가 다양한 ML 모델을 만드는 법: Feature Store & Trainkit

간단 소개

토스의 Feature Store와 Trainkit은 ML 모델 개발 효율성을 높이고, Training-Serving skew를 해소하며, 데이터 관리 및 학습 파이프라인을 자동화합니다.

AI Summary

Feature Store의 중요성
- ML 모델의 전 생애주기 관리를 위한 핵심 요소
- Training-Serving skew 방지 및 실험 효율성 극대화
- 데이터 품질과 일관성을 보장하는 데이터 기반 소프트웨어 시스템
토스 Feature Store & Trainkit
- 다양한 ML 모델 운영 환경에서 일관된 Feature 관리 및 재사용성 확보
- Trainkit은 Feature Store와 결합된 학습 자동화 도구
- 멀티 Feature Package 조인, Training-Serving Skew 해소, PIT 조인 등의 핵심 기능 제공
Trainkit의 구조 및 워크플로우
- Data Module, Target, Feature Service, Feature Processor, Feature Package로 구성
- Feature Store의 메타 정보를 활용하여 데이터 로딩, 전처리, 학습 과정을 자동화
- 런타임 Join을 통해 메모리 효율성을 높임