공통 Kafka 전환기 [Part 2. 공통 Kafka 전환 여정]

공통 Kafka 전환 전략

• 도메인별 운영 특성 고려, 서비스 영향 최소화, 전사 운영 표준 적용이 중요했습니다.
• 소규모 클러스터는 신규 Topic 생성 및 엔드포인트 일괄 전환, 대규모는 MirrorMaker2 기반 점진 전환 방식을 채택했습니다. MirrorMaker2 기반 전환 과정
• Kafka MirrorMaker2는 클러스터 간 실시간 데이터 복제, 메타데이터 복제, Consumer Group Offset 동기화를 지원하는 핵심 도구입니다.
• MirrorSourceConnector, MirrorCheckpointConnector, MirrorHeartbeatConnector를 활용하여 데이터 일관성과 서비스 연속성을 보장했습니다.
• Source → Target 단방향 실시간 동기화 후 Consumer 우선 전환, 이어서 Producer 전환 방식으로 무중단 이관을 진행했습니다. 전환 결과 및 효과
• 기존 8개 도메인 Kafka 클러스터를 공통 Kafka로 성공적으로 통합했습니다.
• 아키텍처 표준화, 비용 절감, 운영 효율성 증대 및 안정적인 중앙 데이터 운영 플랫폼 역할을 확립했습니다.