식자재 품목 검색을 더 쉽게! 검색 엔진 도입과 개선

간단 소개

식자재 검색 엔진 도입 및 개선 과정을 통해 검색 품질을 향상시키고, 사용자 편의성을 증진시킨 경험을 공유합니다.

AI Summary

검색 엔진 도입 배경 및 초기 설정
- 초기에는 DB LIKE 질의 검색의 한계로 Elasticsearch(ES) 도입, (구)도도카트 서비스 설정을 참고.
- Nori Tokenizer와 Edge N-gram 필터를 활용하여 띄어쓰기, 맞춤법 오류에 유연하게 대처.
- POC 결과, ES 검색이 DB LIKE 질의보다 우수한 결과를 제공하여 도입 결정.
검색 품질 개선 작업
- 가중치 조절 및 N-gram 조정: 통베이컨 검색 이슈 해결을 위해 쿼리 가중치 조정, Standard Tokenizer 추가, Edge N-gram 조정.
- Wildcard 검색: 사이다 검색 이슈 해결을 위해 Wildcard 필드 도입, 검색어 포함 품목 우선 노출.
- 초성 검색: ICU Analyzer를 활용하여 초성 검색 구현, Analyzer와 Search Analyzer 분리 설정.
IDF(Inverse Document Frequency) 문제 해결
- 스위트콘 검색 시 곤약이 상위에 노출되는 문제 발생, IDF가 유사도 계산에 역효과를 내는 것을 확인.
- Scripted Similarity를 사용하여 IDF를 제외한 점수 계산, BM 모델에서 IDF만 제거한 계산식 적용.
- Alias를 이용한 Reindexing으로 중단 시간을 최소화, Scroll API를 사용하여 대량 데이터 조회 성능 개선.