상품데이터 Pipeline을 위한 Debezium MSK Connect

간단 소개

올리브영 상품 스쿼드에서 Debezium CDC와 MSK Connect를 이용하여 상품 데이터 Pipeline을 구축한 과정과 설정 방법을 소개합니다.

AI Summary

Debezium CDC 도입 배경
- 기존 monolithic 시스템에서 MSA 전환하며 데이터베이스 마이그레이션 및 동기화 필요
- 다양한 데이터베이스 간 유연한 동기화, 데이터 흐름 Pipeline 구성, 변경 내역 효율적 Tracking 목표 설정
MSK Connect를 활용한 Pipeline 구성
- Debezium을 Source Connector로, 별도 Consumer 서버를 Consume 데이터 처리용으로 구성
- Oracle DB와 Aurora DB 간 Pipeline 시스템 구성
- DB 트랜잭션 로그 기반 동작을 위해 DB 로그 관련 설정 필요 (Logminer 방식 사용)
MSK Connect 설정 및 결과
- MSK 플러그인 생성 후 Connector 생성, 작업자 구성 설정
- 컨넥터 구성 정보로 컨넥터 컨트롤 및 오류 해결, Debezium 공식 문서 참고
- 컨넥터 생성 후 토픽 조회, Config/Offset/Status 토픽 확인, CDC 테이블별 토픽 메시지 확인
- SMT 구성으로 Before/After/ChangeField 구분 확인