토스증권 Apache Kafka 데이터센터 이중화 구성 #1

간단 소개

토스증권은 데이터센터 이중화를 위해 Active-Active Kafka 클러스터를 구축하고, 데이터 미러링과 Offset Sync를 통해 운영 부담을 극복했다.

AI Summary

Kafka 이중화 필요성 및 아키텍처
- 데이터센터 장애 시에도 서비스 연속성을 확보하기 위해 Kafka 이중화가 필요하며, Active-Active 구성과 Stretched Cluster 구성이 존재한다.
- Active-Active는 독립적인 Kafka 클러스터를 구성하고 양방향 데이터 미러링을 통해 동기화하는 방식이다.
- Stretched Cluster는 물리적으로 분리된 노드를 하나의 Kafka 클러스터로 묶어 별도의 데이터 미러링 없이 동기화하는 방식이다.
Active-Active 구성 선택 이유 및 목표
- 토스증권은 가용성 확보, 성능 저하 방지, 운영 편의성을 고려하여 Active-Active 구성을 선택했다.
- Stretched Cluster는 Split-brain 발생 가능성과 latency 증가로 인해 부적합하다고 판단했다.
- Active-Active 구성의 단점인 운영 부담을 극복하기 위해 데이터 미러링 및 Consumer Group Offset Sync를 구현했다.
이중화 구성 후 목표 달성 및 트래픽 흐름
- Kafka 이중화에 대한 이해가 깊지 않은 서비스 서버 개발자들도 쉽게 활용할 수 있도록 토픽명을 동일하게 유지했다.
- 데이터센터 장애 발생 시 메인 센터 전환이 빠르고 편하도록 DNS 정책을 적극적으로 활용했다.
- Producer는 Split DNS를 통해 지역성을 확보하고, Consumer는 GSLB DNS를 통해 Active-Standby 구조를 구현했다.