왜 막상 배포하면 효과가 없지? 타겟 지표에 맞는 ML모델 train/eval 설계하기

간단 소개

ML 모델이 실제 서비스에서 효과를 내기 위해 비즈니스 목표에 맞는 학습 및 평가 지표를 설계하고, 데이터의 통계적 특성을 고려하여 confounder 영향을 최소화하는 과정을 설명합니다.

AI Summary

ML 모델 배포 실패 원인 및 문제 정의
- ML 모델이 벤치마크에서 좋은 성능을 보여도 실제 서비스에서 비즈니스 목표와 타겟 지표가 불일치하면 효과가 없을 수 있음.
- 하이퍼커넥트 사례: 아이템의 여러 속성 중 전환율을 높일 대표 속성을 예측하는 ML 모델 개발 목표.
- 기존 방식(랜덤 exploration)의 한계: 새로운 아이템/속성 발생 시 기회비용 발생 및 시간 소요.
학습 목표 설계 및 데이터셋 구축
- 초기 학습 방식(속성별 전환율 예측)은 추천 로직에 의한 유저-아이템 종속성 및 confounder 문제로 실패.
- user-wise ranking 및 item-wise ranking 방식도 아이템 전체 정보 영향, hidden variable(시간) 등의 문제로 한계.
- 최종적으로 randomized 데이터를 활용한 item-wise attribute CR ranking 방식으로 confounder 영향을 제거하고 학습 목표를 설정.
비즈니스 임팩트 중심의 오프라인 평가
- 초기 평가 지표(Mean SRCC, Top-1 accuracy)는 observed CR의 노이즈와 비즈니스 임팩트 미반영 문제로 한계.
- 새로운 평가 지표로 relative mean CR lift를 도입하여 실제 전환율 상승을 직접 가늠.
- maximization bias를 억제하기 위해 Double DQN 아이디어를 활용하여 optimal 성능의 lowerbound를 추정.
- 오프라인 평가 후 온라인 A/B 테스트를 통해 유의미한 핵심 지표 개선 확인 및 성공적 배포.