6개월 만에 연간 수십조를 처리하는 DB CDC 복제 도구 무중단/무장애 교체하기

ergate 프로젝트 개요 및 목표

• 네이버페이 Plasma 프로젝트의 최종장으로, 기존 mig-data 복제 도구를 ergate로 전환했습니다.
• 목표는 사용량 증가에 따른 확장 가능한 구조와 백엔드 개발자의 유지 보수 용이성 확보였습니다.
• 기존 양방향 복제 관련 제약사항을 제거하고 단방향 복제에 최적화했으며, 주로 Spring Framework 기반 개발 경험을 가진 인력에 맞춰 재개발했습니다.

기술 스택 및 주요 기능

• Apache Flink (Java 17)와 Spring Framework (Kotlin 1.9)를 핵심 기술 스택으로 채택했습니다.
• Flink는 저지연, 대용량, 고가용성 처리에 강점과 Kafka 연동 용이성 때문에 선택되었습니다.
• 주요 기능은 복제, 검증, 복구로 구성되며, 복제 실패 시 검증 단계에서 검출 후 복구합니다.
• DDL 실행 순서 의존성 제거, 일시 복제 중단 해소, 다양한 복구 편의 기능 제공 등 기능이 개선되었습니다.
• Flink JdbcSink 확장 및 비동기 검증으로 성능을 개선하고 1초 내 복제 보장 목표를 달성했습니다.

아키텍처 검증 및 전환 과정

• QPS 10배 이상 처리 목표로 성능을 검증했으며, 객체 직렬화, 데이터 스큐, DB I/O, 네트워크 버퍼, 검증 성능 등을 개선했습니다.
• Flink job manager/task manager 장애, Spring 모듈 장애, Source/Target DB 장애 등 내결함성을 검증했습니다.
• Target DB 장애 시 서킷 브레이커를 도입하여 Flink 장애를 방지했습니다.
• 중복 복제 전략으로 mig-data와 ergate를 동시 운영 후 순차 전환하여 무중단/무장애 전환에 성공했습니다.
• job manager Metaspace OOM 및 split brain 등 Flink 관련 트러블슈팅 경험을 공유했습니다.