토스증권 Apache Kafka 데이터센터 이중화 구성 #3: Offset Sync

간단 소개

토스증권의 Kafka 이중화 Offset Sync 전략: 데이터 유실 방지 및 중복 제거를 위한 Timestamp 검색, Header 참조 방식 소개.

AI Summary

Offset과 Offset Sync의 중요성
- Offset은 Kafka에서 메시지 순서를 나타내는 고유 번호이며, consumer가 데이터를 정확히 처리하도록 돕는다.
- Offset Sync는 Cluster 이중화 환경에서 필수적이며, consumer offset을 정확히 동기화해야 데이터 중복이나 유실을 방지할 수 있다.
기존 Offset Sync 방식의 한계
- Kafka MirrorMaker2(MM2)는 유실 방지에 초점을 맞췄지만, OffsetSync 정확도가 낮고 특정 환경에서 사용이 제한적이다.
- Confluent Replicator는 Timestamp 기반 Offset Translation을 제공하지만, Confluent Kafka 환경에서만 사용 가능하다.
토스증권의 Offset Sync 전략
- 토스증권은 재난 및 작업 상황 모두에서 데이터 유실을 방지하고, 작업 상황에서는 중복까지 제거하는 Offset Sync를 목표로 한다.
- 100:0 구조에서는 Timestamp 검색 방식을 사용하고, 50:50 구조에서는 Header 참조 방식을 사용하여 Offset Sync를 구현한다.
- Timestamp 검색 방식은 offsetsForTimes 함수의 한계를 메트릭으로 보완하고, Header 참조 방식은 데이터 꼬임 현상을 제거하여 중복을 최소화한다.