- 카카오 데이터 분석 플랫폼에서 대용량 데이터베이스 동기화를 위한 최적의 CDC 시스템 구축에 대한 설명 🐘
- CDC(Change Data Capture)의 의미와 두 가지 구현 방법인 커리를 기반한 방법과 로그 기반 방법을 소개. ⚙️
- CDC 기술의 활용 사례로 데이터 이벤트 기반 알림, 데이터베이스 마이그레이션, 지역 간 데이터 동기화, 캐시 무효화, 데이터 저장 용도 분리 등을 설명. 🏢
- 카카오에서 다양한 서비스로 인해 분산된 데이터를 CDC를 통해 통합하여 관리하는 구조를 설명. 🗂️
- CDC 시스템 구축 과정에서 발생했던 문제점으로는 민감 데이터 처리, 대용량 데이터 처리, 데이터 일관성 확보, 적합한 로딩 시스템 설계를 제시. 🛡️
- 데이터 일관성 문제 해결을 위해 CDC 시스템 구축 초기 전략에서 Full Scan 커리로 동기화하던 시스템은 Incremental Snapshot 기법을 도입하여 문제점을 해결. 🌊
Recommanded Videos
