PostgreSQL to ES: (1) Kafka Connect CDC 파이프라인 구성

간단 소개

복잡한 PostgreSQL-ES 동기화 파이프라인을 Kafka Connect CDC로 대체하고, Strimzi를 활용한 Kubernetes 배포 및 성과를 설명합니다.

AI Summary

기존 문제 및 대안 선정

기존 PostgreSQL-ES 동기화 파이프라인은 복잡하고 장애 지점이 많아 유지보수가 어려웠음.
Logstash, NiFi, PGSync, Kafka Connect 중 가용성, 확장성, 유지보수 용이성 때문에 Kafka Connect를 CDC 대안으로 선정. Kafka Connect CDC 파이프라인 구성
Kafka Connect는 Source/Sink Connector, Task, Transforms로 구성되며, PostgreSQL Logical Decoding을 활용.
**Debezium(Source Connector)**이 PostgreSQL 변경 사항을 Kafka로, ES Sink Connector가 Kafka 메시지를 ES로 동기화.
Strimzi를 사용하여 Kubernetes 환경에 Kafka Connect 및 Connector를 GitOps 방식으로 배포. 성과 및 향후 계획
새 파이프라인 도입 후 데이터 정합성 문제 해소, 파이프라인 단순화, ES 인덱싱 속도 최대 47% 향상 등의 성과 달성.
다음 글에서는 CDC 파이프라인 구성 중 겪었던 트러블슈팅을 공유할 예정.