검색엔진의 Analyzer, 형태소분석기 ≠ 토크나이저

간단 소개

검색 엔진의 분석 과정(Analysis)과 형태소 분석기, 토크나이저의 차이점을 설명하고, Term이 생성되는 과정을 다룬다.

AI Summary

검색 엔진의 분석 과정 (Analysis)
- Character-Filtering: 문자 단위로 불필요한 문자 제거 또는 변경하여 검색의 일관성 및 정확성 향상 (예: café → cafe).
- Tokenizing: 정제된 원문에서 Tokenizer를 사용하여 Token 추출. 형태소 분석기를 활용하여 형태소 단위로 분리 후 어절 형성 및 토큰화 진행.
- Token-Filtering: Token 단위로 동의어 처리, 불필요한 토큰 제거 등을 수행하여 검색 품질 향상.
형태소 분석기 vs 토크나이저
- 형태소 분석기는 원문을 형태소 단위로 분리하는 역할만 수행.
- 토크나이저는 형태소 분석을 포함하여, 사용자 의도에 맞는 토큰을 생성하기 위해 추가적인 작업(합치거나 지우는 작업)을 수행. 즉, 형태소 분석기 ⊆ 토크나이저.
Term의 생성
- 분석 과정을 거쳐 최종적으로 생성된 Token이 검색에서 활용되는 Term이 됨.