AI 요약관련 정보

• 기존 로그 시스템은 로키(Loki)의 느린 본문 검색과 오픈서치(OpenSearch)의 높은 비용 문제에 직면했습니다. 🚧
• 당근은 '10배 빠르고 10배 저렴한' 목표 달성을 위해 Rust 기반의 클라우드 스토리지 분산 검색 시스템인 Quickwit을 도입했습니다. 🚀
• Quickwit은 역인덱스를 통한 빠른 본문 검색과 객체 저장소(S3) 활용으로 낮은 비용을 제공하지만, 신생 프로젝트로서의 낮은 성숙도와 실시간 모니터링에 부적합한 인덱싱 지연 등의 단점도 있습니다. ⚖️
• Quickwit은 로그를 '스플릿' 단위로 객체 저장소에 저장하고, 검색 시 메타데이터(핫캐시)를 활용하여 필요한 부분만 효율적으로 읽어 검색 속도를 극대화합니다. 🧠
• 신규 로그 파이프라인은 데몬셋으로 로그를 수집하여 카프카로 전달하고, 인덱서 클러스터가 Quickwit으로 인덱싱하며, 서처 클러스터가 메타스토어(PostgreSQL)와 연동하여 검색을 처리하는 구조입니다. 🏗️
• POC 결과, 로키 대비 4~10배 빠른 검색 속도와 오픈서치 대비 약 90%의 비용 절감 효과를 확인했으며, 전사 도입 후에도 로그 보관 기간 연장 및 로그 양 증가에도 불구하고 총 90%의 비용을 절감했습니다. 💰
• 비용 부담 감소로 감사 로그, 클라우드프론트 로그 저장 등 Quickwit을 활용한 다양한 유즈 케이스가 증가하고 있으며, 카프카를 통한 추가 분석 파이프라인 구축도 활발합니다. 📈
• 향후 모바일 클라이언트 로그 수집 확장, Quickwit 성능 및 비용 개선, 그리고 로그를 활용한 추가 분석 파이프라인 구축을 계획하고 있습니다. 🗺️