ElasticSearch 비용, 성능 최적화 — 1편

간단 소개

ElasticSearch 비용 최적화를 통해 연간 2,000만원을 절감하고, ILM, SLM 도입 및 아키텍처 개선으로 성능을 향상시킨 경험 공유.

AI Summary

ElasticSearch 비용 최적화 배경
- 연간 2,500~3,000만원의 ElasticSearch 비용 발생, AWS 비용과 맞먹는 수준.
- 로그성 데이터의 인덱스 생명주기 관리 미흡, 매핑 크기 증가, 필드 한도 초과 문제 발생.
- 추천 쿼리 로직에 운영 로그 인덱스가 직접 사용되어 문제 심각.
해결 과정 및 결과
- 6개월 이전 로그 삭제, 미사용 인덱스 정리, 노드 스케일 축소로 급한 불을 끔.
- ILM 도입으로 인덱스 수명주기 자동 관리, SLM 도입으로 스냅샷 백업 및 S3 저장.
- 추천 쿼리용 인덱스 분리, Data Stream 기반 인덱스 템플릿 구성으로 성능 향상.
- Warm/Cold 노드 제거 후 Hot Node만 사용하여 비용 추가 절감.
최종 결과 및 추가 계획
- 연간 약 2,000만원의 비용 절감 효과.
- ElasticSearch 메이저 버전 업그레이드 및 리전 이관을 통한 추가 최적화 예정.
- Traffic filter를 이용한 IP whitelist 관리로 보안 강화 계획.