PostgreSQL to ES: (2) Kafka Connect 트러블슈팅

CDC 파이프라인 트러블슈팅 개요

• Kafka Connect 기반 CDC 파이프라인의 Debezium, ES Sink Connector 문제 해결 사례. 설정 변경, 데이터 구조 조정, Transforms 구현 등으로 해결. Debezium 문제 해결
• PostgreSQL Disk Full: 변경 없는 테이블의 LSN 피드백 부재로 WAL 파일 누적. heartbeat 설정으로 LSN 주기적 업데이트.
• LSN 유실: Debezium 재시작 시 PostgreSQL LSN 유효성 문제로 데이터 유실 가능성. 스냅샷 쿼리 오버라이딩 또는 SnapshotQuery SPI 구현으로 최신 데이터만 스냅샷하여 방지. ES Sink Connector 문제 해결
• 날짜 기반 인덱스 분리: TimestampRouter 한계로 중복 인덱스 발생. Transforms 구현으로 메시지 키에서 ES 인덱스, 도큐먼트 ID 추출하여 해결.
• 도큐먼트 버전 충돌: 파티션 추가 시 낮은 offset으로 업데이트 무시. WAL의 LSN을 메시지 헤더에 담아 external.version.header로 설정, PostgreSQL 순서를 ES에 적용.