토스증권 Iceberg 적용기 #1: CDC 환경은 왜 제대로 동작하지 않을까?

간단 소개

토스증권의 Iceberg 적용기: CDC 환경에서 발생하는 데이터 정합성 문제와 해결 방안, 그리고 Iceberg CDC 활용 사례를 소개합니다.

AI Summary

Iceberg의 Update 전략
- COW(Copy-on-Write) 방식은 읽기 성능이 중요할 때 적합하지만, 쓰기 비용이 크다.
- MOR(Merge-on-Read) 방식은 쓰기 부담을 줄이지만, 읽기 시 삭제 파일 병합으로 성능 저하가 발생할 수 있다.
Iceberg CDC 환경 문제점 및 해결
- 동일 id 이벤트가 다른 Kafka Partition으로 유입 시, Equality Delete로 인해 데이터 중복 발생 가능. Kafka Topic의 key를 Iceberg Table의 id 컬럼으로 설정하여 해결.
- Commit Timeout 발생 시, insertedRowMap 초기화로 Position Delete 대신 Equality Delete가 사용되어 데이터 중복 발생. Coordinator에 preCommit 단계 추가하여 해결.
- Schema Evolution 발생 시, insertedRowMap 초기화로 데이터 중복 발생. Registry에서 insertedRowMap을 관리하도록 재개발하여 해결.
Iceberg CDC 활용
- 토스증권은 위 문제 해결 후 Iceberg CDC를 준실시간으로 안정적으로 활용, History 테이블, Upsert 모드, Delete-only 모드 등 다양한 형태로 활용.
- Batch Job 규모가 큰 작업들을 CDC + Iceberg 조합으로 효율적으로 적재, 저장소 레벨에서 중복 제거 기능을 활용.