N
Naver d2
March 11, 20251회
NELO Alaska: 대용량 로그 데이터 저장을 위한 Apache Iceberg 도입기
간단 소개
Elasticsearch의 한계를 극복하고자 Apache Iceberg를 도입하여 대용량 로그 데이터를 효율적으로 저장하고 관리하는 NELO Alaska 시스템 구축 사례.
AI Summary
- Elasticsearch 기반 로그 모니터링 시스템의 한계
- Elasticsearch 기반 시스템은 데이터 증가로 인해 비용 및 확장성 문제에 직면.
- 장기 로그 저장 요구사항 증가로 저장 효율성이 떨어짐.
- 데이터 사용 패턴 분석 결과, 대부분의 쿼리가 최근 데이터에 집중됨.
- Apache Iceberg 도입 및 Alaska 개발
- Iceberg는 데이터, 메타데이터, 카탈로그로 구성되어 ACID 트랜잭션을 지원하고 스키마 변경이 용이함.
- Alaska는 Iceberg 기반의 새로운 로그 저장 컴포넌트로, 저비용으로 대용량 로그 데이터를 저장.
- Kappa 아키텍처를 채택하여 실시간 데이터 조회 가능.
- NELO Alaska 적용 결과 및 기대 효과
- Elasticsearch 노드 수를 줄이고 로그 보관 기간을 늘려 인프라 비용 절감.
- 데이터 압축률을 높이고 쿼리 엔진 리소스를 효율적으로 관리.
- 사용자에게 SQL 기반의 로그 검색/분석 기능을 제공하고 데이터 레이크로 활용 기대.
Next Feeds
2024 네이버 통합검색의 웹 성능 리뷰
2024년 네이버 통합검색 웹 성능 리뷰: LCP 최적화, 새로운 성능 지표(FUPP, FILT) 도입, 성능 개선 사례 및 향후 계획.
LCPFUPPFILT서치 피드웹 성능
2025. 3. 11.
Naver d2
서로의 업무를 이해하는 가장 재밌는 방법! 여기어때 젊은이 골든벨
여기어때는 구성원 간 이해를 높이기 위해 '젊은이 골든벨' 시즌2를 개최, 직무 이해도 향상 및 협업 활성화를 도모했습니다.
골든벨조직문화직무이해협업여기어때
2025. 3. 11.
여기어때
호텔 검색, 어떻게 달라졌을까요? 2편 - 지식 증류
지식 증류를 통해 LLM의 성능을 유지하면서 sLLM으로 최적화하여 호텔 검색 품질을 향상시키고 시스템 운영 효율성을 높였습니다.
LLMsLLM지식 증류모델 최적화호텔 검색
2025. 3. 10.
Naver d2
호텔 검색, 어떻게 달라졌을까요? 3편 - 검색 시스템
네이버 플레이스 AI팀의 호텔 검색 시스템 고도화 프로젝트: 다국어 지원, POI 매칭, 키워드 추출 개선을 통한 검색 품질 향상.
다국어 지원POI 매칭검색 키워드 추출Place sLLM검색 커버리지
2025. 3. 10.
Naver d2
호텔 검색, 어떻게 달라졌을까요? 4편 - 이미지 검색
네이버 플레이스 AI팀은 플레이스 특화 CLIP 인코더를 개발하여 이미지 검색 품질을 향상시키고 사용자 경험을 개선했습니다.
CLIP이미지 검색멀티모달파괴적 망각플레이스 AI
2025. 3. 10.
Naver d2
호텔 검색, 어떻게 달라졌을까요? 1편 - 문제와 해결
네이버 호텔 검색이 LLM 도입 및 시스템 개선을 통해 검색 품질과 사용자 경험을 향상시킨 과정과 결과를 요약합니다.
호텔 검색LLM검색 엔진다국어 검색POI
2025. 3. 10.
Naver d2