AI 요약관련 정보

• 애널라이저 API를 통해 텍스트가 어떤 토큰으로 분리되는지 확인 가능 🔍
• _analyze API를 사용하여 특정 애널라이저(예: standard)의 토큰화 결과 확인 🧪
• Standard Analyzer는 Standard Tokenizer와 Lower Case Filter로 구성됨 ⚙️
• Standard Tokenizer는 공백/문장 부호 기준으로 단어 분리, Lower Case Filter는 소문자 변환 🔡
• 애널라이저를 명시하거나, 구성 요소(캐릭터 필터, 토크나이저, 필터)를 개별적으로 지정 가능 🧩
• 필터는 여러 개 적용 가능, 토크나이저는 하나만 적용 가능 ☝️