올리브영의 실시간 캠페인 타겟팅을 위한 CDC 전환기

기존 배치 시스템의 한계

• ODI 기반 배치 시스템은 20분~1시간 데이터 지연으로 실시간 대응 및 데이터 정합성에 한계.
• 대규모 변경 시 소스 DB 부하 집중 및 싱크 지연 문제 발생.

OGG-Kafka 기반 CDC 전환

• OGG로 DB 트랜잭션 로그 실시간 캡처, Kafka로 전송하는 CDC 파이프라인 구축.
• 복잡한 로직 처리를 위해 OGG 커넥터와 Campaign-Worker 결합 하이브리드 아키텍처 채택.

메시지 순서 문제 해결 및 성과

• Kafka 토픽 간 메시지 순서 불일치 방지를 위해 Retry, DLT, 복구 배치 3중 안전장치 구현.
• 데이터 처리 속도 개선, 실시간 고객 대응, DB 부하 분산, 데이터 정합성 및 모니터링 강화.