Kafka 메시지 중복 및 유실 케이스별 해결 방법

간단 소개

올리브영의 Kafka 메시지 중복/유실 방지 및 고가용성 확보 전략, DLQ 자동 백업 시스템 구축 사례를 소개합니다.

AI Summary

Kafka 메시지 중복 및 유실 문제 해결
- 'Exactly-once' 보장을 위한 Kafka 설정 및 커스터마이징
- Producer와 Consumer 간 네트워크 통신 구간에서 발생하는 문제점 분석 및 해결
고가용성 보장 및 파티션 할당 전략
- MSK 보안 패치 시 메시지 유실 방지를 위한 Broker 다중화, Replication Factor, Min In-Sync Replicas 설정
- RangeAssignor, CooperativeSticky 전략 비교를 통한 효율적인 파티션 할당 전략 선택
DLQ 자동 백업 시스템 구축
- AWS Kinesis Data Firehose, S3, Lambda를 활용한 DLQ 데이터 자동 백업 플로우 구축
- DLQ 데이터의 안전한 백업 및 관리