매번 다 퍼올 필요 없잖아? 당근의 MongoDB CDC 구축기

배경 및 문제점

• 당근은 다양한 DB 데이터를 BigQuery로 적재하나, MongoDB 데이터 규모 증가로 기존 Spark Connector 덤프 방식이 2시간 SLO 및 DB 부하 안정화 목표를 동시에 충족하기 어려웠습니다.
• 대용량, 빈번한 업데이트 테이블의 덤프 개선, DB CPU 60% 이하 안정화, 2시간 SLO 내 완료를 위해 CDC(Change Data Capture) 도입을 결정했습니다. Flink CDC 선택 및 구축
• Flink CDC는 MongoDB Change Stream 네이티브 지원, 강력한 상태 관리 및 체크포인트, End-to-End 통합 파이프라인, 병렬 처리 확장성으로 선정되었습니다.
• 아키텍처는 MongoDB Change Stream을 Flink CDC가 구독, 변환 후 BigQuery로 전송하는 구조입니다.
• Initial Full Dump는 Spark Job으로, Schema Evolution은 **JSON 원본(Stage 1)**과 최종 테이블(Stage 2) 분리 및 자동화된 스키마 변경 시스템으로 대응했습니다. 운영 및 정합성
• 트랜잭션 순서 보장은 Change Stream의 oplog 기반 동작과 fullDocument 옵션으로 해결했습니다.
• 정합성 검증은 기존 Full Dump와 CDC 파이프라인을 dual write로 2주간 병행 운영하며 레코드 수, 데이터 신선도, 중복 ID, checksum 비교를 통해 100% 정합성을 확인했습니다.
• Flink Job 상태, Backpressure 등 핵심 지표 모니터링 및 Fault Tolerance 설정을 통해 안정적인 운영을 확보했습니다.