머신러닝을 활용한 검색 품질 지표 개발 (SIGIR’23 Paper Recap)

간단 소개

네이버 Data&Analytics 팀이 개발한 머신러닝 기반 검색 품질 지표(SQM) 개발 과정과 활용 사례, 성과를 소개합니다.

AI Summary

검색 품질 평가의 어려움
- 질의어, 사용자, 시간에 따라 평가 기준이 달라짐
- 관련성, 신뢰성, 시의성 등 다양한 척도 존재
- 검색 결과 유형에 따라 사용자 행동 해석이 달라짐
Data&Analytics 팀의 검색 품질 지표 (SQM) 개발
- 사용자 로그 기반의 User Success/User Effort 시그널 활용, 머신러닝 모델로 결합
- EBM (Explanable Boosting Model) 모델을 사용하여 비선형적인 관계 발견 및 해석 가능성 확보
- 검색 유형 (정답형 vs 탐색형)에 따라 다른 기준으로 만족도 계산
SQM의 활용 및 성과
- 네이버 검색 품질 KPI 및 온라인 실험 의사결정 지표로 활용
- 특정 질의 및 사용자군에 대한 검색 결과 품질 문제 개선에 기여
- AUROC 0.68 수준의 성능을 보이며, 개선 잠재력이 높은 질의 발견