다
다나와
November 25, 20241회
다나와 검색의 색인 최적화 사례
간단 소개
다나와 검색은 Elasticsearch 색인 최적화를 통해 CPU 부하 감소, 응답 지연 개선, 시스템 안정성을 확보했습니다.
AI Summary
- 문제 상황
- ES 클러스터의 CPU 부하 급증 및 힙 메모리 사용량 증가
- 잦은 샤드 이동 및 미할당 문제 발생
- 색인 요청 거절로 인한 데이터 불일치
- 검색 API 응답 속도 지연
- 해결 방안
- BulkProcessor API를 활용하여 비효율적인 건 바이 건 색인 방식 개선
- ES의 CPU 상태에 따라 색인 속도를 동적으로 조절하는 백프레셔 로직 도입
- 코디네이터 노드 추가
- 결론 및 성과
- CPU 부하와 응답 지연이 현저히 감소, 시스템 안정성과 성능 확보
- 동적 색인이 몰리는 시간에도 전체 노드의 CPU 사용량이 80%를 넘지 않음
- BulkProcessor와 백프레셔 로직 도입으로 시스템의 전반적인 안정성과 성능을 확보
Next Feeds
[딥러닝 경량화] Pruning 기법으로 딥러닝 네트워크 경량화하기: 개념과 실제 적용 사례
Pruning 기법을 통해 딥러닝 모델을 경량화하고, AIMET을 활용한 실제 적용 사례를 통해 성능 향상을 확인한다.
Pruning딥러닝 경량화AIMET모델 최적화자율주행
2024. 11. 24.
현대자동차
검색 서비스에서 좋은 품질의 코드를 찾는 은하수 항해 기록
11번가 검색 서비스 프론트엔드 개선 과정을 통해 얻은 좋은 품질의 코드에 대한 고민과 컴포넌트 설계 및 개선 경험 공유.
프론트엔드검색 서비스컴포넌트 설계코드 품질유지보수
2024. 11. 24.
11번가
QueryPie TPM 팀의 하루 엿보기: 고객을 사로잡는 비법 공개
QueryPie TPM팀은 고객과 파트너의 기술 문제 해결 및 비즈니스 연속성을 위한 24시간 지원 체계를 운영합니다.
TPM팀QueryPie고객 지원On-Call비즈니스 연속성
2024. 11. 22.
QueryPie
개인정보 보호·관리의 新 조력자: Data Discovery
Data Discovery는 AI와 자동화를 통해 개인정보를 효율적으로 식별, 관리하여 기업의 정보보호 수준을 향상시키는 솔루션이다.
Data Discovery개인정보보호AI정규식자동화
2024. 11. 22.
QueryPie
트랜잭션리스, 완벽한 CDC(Change Data Capture) 시스템 구축법
QueryPie는 QSI를 활용한 트랜잭션리스 CDC 시스템을 통해 DBMS 부하를 줄이고 성능, 유연성, 확장성을 높였습니다.
CDC트랜잭션QSI쿼리 시뮬레이션데이터베이스
2024. 11. 22.
QueryPie
개인정보 유출: 내부에서 시작된 작은 틈, 데이터 재앙으로 번지다
개인정보 유출의 심각성을 강조하고, 쿼리파이 DAC가 GDPR, CCPA, PIPL 등 주요 법규 준수를 통해 데이터 보호를 지원하는 방안을 실제 사례와 함께 설명합니다.
개인정보 유출데이터 보안쿼리파이DACGDPR
2024. 11. 22.
QueryPie