Oracle에서 MongoDB로의 CDC Pipeline 구축

간단 소개

카카오페이증권의 Oracle to MongoDB CDC 파이프라인 구축 경험 공유: Kafka, Debezium, Talend를 활용한 데이터 실시간 분석 및 초기 적재 전략.

AI Summary

Oracle to MongoDB CDC 파이프라인 구축 배경
- 카카오페이증권은 MSA 확장에 따라 분산된 데이터 활용을 위해 CDC의 중요성이 부각됨.
- 사용자 데이터의 실시간 분석을 위해 Oracle에서 MongoDB로의 CDC 파이프라인 구축 필요.
Kafka 기반 CDC 파이프라인 아키텍처
- Debezium을 Source Connector로, MongoDB 제공 Connector를 Sink Connector로 사용.
- Kafka Connect는 Kubernetes에 구성하여 확장성을 확보.
- Debezium CDC Handler가 Oracle을 지원하지 않아 커스터마이징 필요.
데이터 초기 적재 전략
- 초기 데이터와 실시간 변경분을 분리하여 MongoDB에 적재.
- 대용량 데이터 처리를 위해 Talend Open Studio와 mongoimport를 활용.
- 페이징 처리 기법을 적용하여 OOM 문제를 해결하고 성능을 개선.