토
토스
September 10, 20251회
토스증권 Iceberg 적용기 #1: CDC 환경은 왜 제대로 동작하지 않을까?
간단 소개
토스증권의 Iceberg 적용기: CDC 환경에서 발생하는 데이터 정합성 문제와 해결 방안, 그리고 Iceberg CDC 활용 사례를 소개합니다.
AI Summary
- Iceberg의 Update 전략
- COW(Copy-on-Write) 방식은 읽기 성능이 중요할 때 적합하지만, 쓰기 비용이 크다.
- MOR(Merge-on-Read) 방식은 쓰기 부담을 줄이지만, 읽기 시 삭제 파일 병합으로 성능 저하가 발생할 수 있다.
- Iceberg CDC 환경 문제점 및 해결
- 동일 id 이벤트가 다른 Kafka Partition으로 유입 시, Equality Delete로 인해 데이터 중복 발생 가능. Kafka Topic의 key를 Iceberg Table의 id 컬럼으로 설정하여 해결.
- Commit Timeout 발생 시, insertedRowMap 초기화로 Position Delete 대신 Equality Delete가 사용되어 데이터 중복 발생. Coordinator에 preCommit 단계 추가하여 해결.
- Schema Evolution 발생 시, insertedRowMap 초기화로 데이터 중복 발생. Registry에서 insertedRowMap을 관리하도록 재개발하여 해결.
- Iceberg CDC 활용
- 토스증권은 위 문제 해결 후 Iceberg CDC를 준실시간으로 안정적으로 활용, History 테이블, Upsert 모드, Delete-only 모드 등 다양한 형태로 활용.
- Batch Job 규모가 큰 작업들을 CDC + Iceberg 조합으로 효율적으로 적재, 저장소 레벨에서 중복 제거 기능을 활용.
Next Feeds
여기어때 CI/CD 개선기 Part 4: 공통 Helm Chart 설계와 추상화
여기어때 DevOps팀의 공통 Helm Chart 설계 및 추상화 전략을 통해 CD 공통화의 난관을 극복하고 개발 편의성과 안정성을 확보한 과정을 설명한다.
CI/CDHelm ChartDevOpsKubernetes추상화
2025. 9. 10.
여기어때
여기어때 CI/CD 개선기 Part 5: Slack으로 완성되는 배포 가시성
GitLab CI, ArgoCD Notifications를 활용하여 CI/CD 알림을 개선하고, 팀별 대응 및 모니터링 가시성을 확보한 사례를 공유합니다.
CI/CDGitLab CIArgoCDSlackDevOps
2025. 9. 10.
여기어때
여기어때 CI/CD 개선기 Part 3: Helm Chart Registry 도입기
여기어때의 Helm Chart Registry 도입 및 AWS ECR 활용을 통한 CI/CD 개선 사례와 효과를 설명합니다.
Helm ChartCI/CDAWS ECRKubernetesDevOps
2025. 9. 10.
여기어때
카카오 AI 앰배서더를 공개 모집합니다.
카카오에서 AI 앰배서더를 모집합니다. AI 기술에 관심 있는 누구나 참여 가능하며, 다양한 혜택이 제공됩니다.
카카오AI앰배서더모집기술
2025. 9. 10.
카카오
엔터프라이즈 AI 에이전트 성능 평가 가이드 : 인포그랩 NEXA의 LLM-as-a-Judge 실전 적용 사례
엔터프라이즈 AI 에이전트 성능 평가 가이드: 인포그랩 NEXA의 LLM-as-a-Judge 실전 적용 사례를 통해 에이전트 평가 방법을 제시합니다.
AI 에이전트성능 평가LLM-as-a-JudgeNEXA도구 호출
2025. 9. 10.
인포그랩
여기어때 CI/CD 개선기 Part 5: Slack을 통해 완성되는 배포 가시성
GitLab CI/CD와 ArgoCD Notifications를 활용하여 슬랙 알림을 개선, 배포 가시성을 확보하고 효율적인 모니터링 환경을 구축했습니다.
CI/CDGitLab CIArgoCDSlackDevOps
2025. 9. 9.
여기어때