Open Problems in Data&Analytics

간단 소개

네이버 서치 Data&Analytics 팀의 A/B 테스트 효율화, 모델 기반 지표 개발, KPI 추적, 신뢰성 및 공정성 측정, 인프라 개선 노력 소개.

AI Summary

Traffic-efficient A/B Evaluation
- AB 테스트 효율을 높이기 위해 지표의 Variance를 줄이는 방법 연구. Winsorization, 비율 지표 변환, CUPED 기법 활용.
- CUPED는 실험 전 트래픽을 활용, 사용자 간 차이를 제거하여 p-value 감소.
Model-based Metric Development
- 검색 결과 품질 평가를 위한 모델 기반 지표 개발. 사용자 만족도 예측 모델 활용.
- 레이블 데이터 수집이 어려운 경우, 재방문이나 결제와 같은 Critical Action을 레이블로 대체.
KPI Tracking & Beyond Engagement
- 외부 요인 영향을 줄이기 위해 시계열 예측, Causal Inference 기법 연구. AB 테스트 결과를 활용한 성과 환산.
- 신뢰성 높은 컨텐츠가 사용자 만족도에 중요하며, 공정성 평가 지표 개발 (Tetsuya Sakai 교수님과 협업).
Advanced Data&Analytics Infra & Pipeline
- 데이터 및 분석 인프라 개선: 파이프라인 신뢰성 및 성능 강화, 문서화 및 형상 관리, 실시간 데이터 분석 응답 속도 개선.