Kafka Connect로 DB 데이터 쉽게 연동하기

간단 소개

카프카 커넥트와 JDBC 커넥터를 활용한 DB 데이터 연동 방법과 데이터 누락 문제 해결 방안을 제시합니다.

AI Summary

카프카 커넥트(Kafka Connect) 소개
- 카프카 컴포넌트로서, 코딩 없이 다양한 데이터 소스에서 타겟 시스템으로 실시간 데이터 전송 가능
- 반복적인 데이터 파이프라인 구성에 유리하며, 다양한 커넥터 지원으로 비용 절감 및 커스터마이징 가능
JDBC 소스 커넥터의 활용 및 제약 사항
- 관계형 데이터베이스에서 주기적으로 SQL 쿼리를 실행하여 데이터를 카프카로 전송
- 증분 쿼리 모드를 통해 효율적인 데이터 처리 가능 (Incrementing, Timestamp, Timestamp and Incrementing 모드 지원)
- 데이터 삭제/갱신 감지 불가, 쿼리 주기 간 변경 누락, 순서 변경 이벤트 누락 등의 제약 존재
데이터 누락 문제 해결 방안
- timestamp.delay.interval.ms 옵션을 사용하여 데이터 적재 전 지연을 두어 순서 및 정합성 유지
- 옵션 값 설정 시 데이터 특성(트랜잭션 타임아웃) 고려하여 적재 지연과 누락 간 균형 유지 필요