[2022-11-30] Elastic 검색을 위한 수집 파이프라인 최적화 - Ingest Pipeline
- Elastic 플랫폼은 검색 기능을 기반으로 엔터프라이즈 검색, 운영 데이터 시각화, 보안 등 다양한 기능을 제공하며, 이러한 기능은 데이터 수집, 저장, 검색 및 시각화를 하나의 플랫폼에서 통합적으로 제공. 🧐
- Elastic Stack은 Elasticsearch, Kibana, Beats의 구성 요소로 구성되며, 이는 하나의 UI에서 사용할 수 있어 통합 관리가 용이하다. 🧑💻
- 막대한 양의 데이터를 수집, 처리, 분석하기 위해 Elastic은 Logstash, Elastic Agent, Pipeline 등 다양한 도구를 제공한다. 📊
- Logstash는 Elasticsearch에 가장 먼저 사용된 데이터 수집 도구로, 수백 개의 필터를 지원하며 데이터 확장 및 다양한 키워드를 사용한 파이프라인 구현이 가능하다. 🧰
- Elastic Agent는 다양한 플랫폼에서 데이터를 수집하고 처리하기 위한 에이전트이며, Pipeline과 함께 사용하여 데이터 처리를 강화한다.🕵️♂️