왜 막상 배포하면 효과가 없지? 타겟 지표에 맞는 ML모델 train/eval 설계하기

ML 모델 배포 문제와 정의

• ML 모델의 실제 서비스 비즈니스 목표와 타겟 지표 불일치로 효과 미미.
• 하이퍼커넥트 사례: 아이템 대표 속성 선택으로 전환율 극대화 목표.
• 초기 supervised learning은 유저-아이템 종속성 및 confounder 문제로 한계. 강건한 학습 및 평가 방법론
• item-wise attribute CR ranking으로 아이템 영향 상쇄, randomized 데이터 활용해 confounder 해결.
• pairwise ranking loss로 모델 학습.
• relative mean conversion-rate lift 지표 도입, maximization bias 고려한 optimal 성능 lower bound 추정. 성공적인 서비스 임팩트
• 오프라인 평가 및 온라인 A/B 테스트로 실제 전환율 상승 확인, 성공적 배포.