분산 시스템 환경에서 Kafka Consumer 오프셋 이동하기

간단 소개

Spring Kafka를 활용하여 분산 시스템 환경에서 컨슈머 중단 없이 Kafka 오프셋을 이동하고 메시지를 재처리하는 방법을 소개합니다.

AI Summary

메시지 재처리 필요성과 기존 방식의 문제점
- Kafka Consumer 운영 중 예기치 못한 문제 발생 시 메시지 재처리가 필요하며, 기존에는 Kafka CLI를 사용해 오프셋을 재설정.
- 기존 방식은 컨슈머 중단이 필요해 가용성 저하, 데이터 처리 지연, 다른 컨슈머에 영향 등의 문제 발생.
Spring Kafka를 활용한 오프셋 이동 및 아키텍처 확장
- Spring Kafka의 ConsumerSeekAware 인터페이스와 ConsumerSeekCallback을 활용하여 컨슈머 중단 없이 오프셋 이동 구현.
- 분산 시스템 환경에서 오프셋 이동 요청을 효율적으로 전파하기 위해 Redis Pub/Sub을 사용하고, HTTP API를 정의하여 확장성을 확보.
오픈 소스 기여 및 결론
- Spring Kafka에 기여하여 특정 컨슈머 그룹만 선택해서 오프셋을 이동하는 기능 개선.
- 분산 시스템 환경에서 컨슈머 클라이언트의 유연한 오프셋 변경을 구현하고, 기술의 내부 작동 방식을 깊이 이해함으로써 효과적인 솔루션 도출.