요기요 검색에서 형태소 분석기의 한계와 극복

간단 소개

요기요 검색에서 형태소 분석기의 한계를 N-gram을 통해 극복하고 검색 정확도를 향상시킨 사례를 소개합니다.

AI Summary

형태소 분석기의 한계
- 요기요 검색은 가게 이름 검색에 특화되어 있어, 문법에 특화된 형태소 분석기로는 한계가 있음.
- 가게 이름은 문법적으로 어긋나거나 독특하게 지어지는 경우가 많아 형태소 분석이 어려움.
- 형태소 분석은 서로소 분할 방식으로 작동하여, 음절 공유가 필요한 경우 분석이 어려움.
- 사전에 없는 형태소(신조어, 줄임말, 외래어 등)는 분석이 불가능하며, 새로운 형태소가 등장할 때마다 사전에 등록해야 함.
N-gram을 통한 한계 극복
- 형태소 분석기 기반 Analyzer와 N-gram Analyzer를 함께 사용하여 단점을 보완함.
- 색인 시에는 2-gram부터 사용하여 불필요한 매칭을 방지하고, 쿼리 시에는 형태소 분석기 기반 Analyzer를 사용함.
- 쿼리문 전체를 term으로 추출하여 색인 term과 매칭되도록 추가하여, 한 글자 term 매칭 문제를 해결함.
개선 결과
- 형태소 분석기 오분석으로 인한 검색 미노출 CS가 2분기에 0건을 기록하며 100% 감소함.
- 플랫폼 특성에 맞는 Analyzer 설계가 중요함을 강조함.