컬리 검색이 카프카를 들여다본 이야기 2

간단 소개

컬리는 Kafka Streams를 도입하여 검색 인덱싱 파이프라인을 개선하고, 스프링을 통해 Kafka Streams를 효율적으로 관리 및 모니터링함.

AI Summary

검색 시스템 변경 요구사항과 Kafka Streams 도입
- 컬리는 검색 엔진 외부에서 메시지를 조합하여 인덱싱해야 했고, 이를 위해 Kafka Streams를 도입하여 데이터 처리 파이프라인을 구축함
- 초기에는 레디스를 중간 저장소로 활용했지만, Kafka Streams를 통해 더 효율적인 데이터 병합이 가능해짐
Spring Kafka를 통한 Kafka Streams 관리 및 가시성 확보
- Kafka Streams가 예외로 인해 종료되었을 때, 스프링 애플리케이션의 상태는 정상으로 유지되는 문제점을 발견
- @EnableKafkaStreams 어노테이션을 사용하여 스프링이 Kafka Streams의 생명주기를 관리하도록 변경하고, KafkaStreamsHealthIndicator를 통해 헬스체크를 구현하여 가시성을 확보함
결론 및 기대 효과
- Kafka Streams를 통해 정보 병합을 쉽고 효과적으로 수행하고, 스프링을 통해 Kafka Streams 애플리케이션의 관리 및 모니터링이 가능해짐
- 팀 차원에서 다양한 시도를 통해 더 나은 검색 시스템 개발을 위한 기반을 마련함