밑바닥부터 시작하는 실시간 데이터 파이프라인 : Debezium 톺아보기

간단 소개

Debezium을 활용한 실시간 데이터 파이프라인 구축 과정과 Kafka Connect 연동 방식, 성능 개선 및 커스텀 SMT 개발 경험을 공유합니다.

AI Summary

Debezium 소개 및 CDC 구현
- **CDC(Change Data Capture)**를 도입하여 실시간 데이터 파이프라인 구축 목표
- 로그 기반 CDC를 위해 Debezium 오픈 소스 플랫폼 분석
- 트랜잭션 로그를 활용하여 원본 데이터베이스 부하를 줄이고 데이터 일관성 유지
Kafka Connect와 Debezium 동작 방식
- Kafka Connect는 외부 시스템과 Kafka 간 연계 담당, Debezium은 Source 커넥터로 동작
- Debezium은 스냅샷을 통해 초기 데이터 동기화 후 변경 사항 스트리밍
- Kafka Connect의 Task는 execute() 함수를 반복 실행, Debezium은 이 동작을 구현하는 플러그인
Debezium 실전 적용 및 문제 해결
- 성능 측정 및 최적화 과정에서 Debezium 내부 구조 상세히 이해
- Kafka Connect 설정 값 조정으로 성능 개선 (max.batch.size, max.queue.size 등)
- 커스텀 SMT 개발을 통해 데이터 정합성 확보 (MySQL과 Redshift 간 타입 변환)