Elasticsearch 3TB의 인덱스를 reindex 하는 방법

간단 소개

Elasticsearch 대용량 인덱스 reindex 시 속도 향상 및 안정성 확보를 위한 설정 팁과 트러블슈팅 경험 공유.

AI Summary

대용량 인덱스 Reindex 최적화
- 다나와는 10억 건 이상의 상품 데이터를 Elasticsearch로 관리하며, 검색 품질 향상을 위해 매주 reindex를 수행한다.
- 3TB 규모의 데이터를 18개 노드(마스터 2개, 데이터 16개)로 구성된 환경에서 약 10~11시간에 걸쳐 색인한다.
Reindex 속도 향상 및 문제 해결
- Replica 생성은 reindex 완료 후에 진행하여 초기 IO 부담을 줄인다.
- refresh_interval을 -1로 설정하여 불필요한 새로 고침 프로세스를 중단한다.
- 배치 사이즈를 조정하여 최적의 색인 효율을 찾고, 프라이머리 샤드 수를 조절하여 작업 속도를 관리한다.
- es_rejected_excutution_exception 발생 시 쓰로틀링을 통해 큐 자원 부족 문제를 해결하고, circuit_breaker_exception 발생 시 작업 시간대 변경 또는 옵션 조정을 통해 부하를 낮춘다.