리스와 헤이즐캐스트로 구성한 쿠버네티스 파드 클러스터링

간단 소개

쿠버네티스 파드 클러스터링을 통해 실시간 스트리밍 및 캐시 공유 성능을 개선하고, Apache Camel과 헤이즐캐스트를 활용한 사례를 소개합니다.

AI Summary

쿠버네티스 파드 클러스터링 필요성
- 무상태(Stateless) 아키텍처인 쿠버네티스에서 특정 파드 기능 활성화 및 데이터 공유를 위해 추가 설정이 필요.
- 서비스 디스커버리를 통해 파드 클러스터링을 구성하고, 실시간 스트리밍 서비스 및 캐시 데이터 공유를 통한 메시지 처리 성능 개선을 목표.
실시간 5분 통계 기능 개선
- 기존 GCP Dataflow 기반 시스템의 복잡성과 유지보수 어려움을 해결하기 위해 Apache Camel과 스프링 부트를 활용한 신규 구성 도입.
- Camel-Kubernetes를 통해 쿠버네티스 클러스터링을 지원하고, 리스(Lease) 객체를 활용해 리더 선출 및 Active-Standby 서비스 구성.
- 기존 대비 미확인 메시지 수와 기간 감소를 통해 메시지 처리 성능 향상.
심볼리케이팅 캐시 데이터 공유
- 파드 간 캐시 데이터 공유를 위해 헤이즐캐스트(Hazelcast)를 이용한 Key-Value 캐싱 도입.
- 헤이즐캐스트의 쿠버네티스 자동 디스커버리 기능을 활용하여 클러스터링을 통한 데이터 공유를 쉽게 구성.
- 심볼리케이팅 평균 시간 감소 및 미확인 메시지 기간 개선을 통해 성능 향상, 배포 시 캐시 초기화 문제 해소.