토
토스
September 10, 20251회
토스증권 Iceberg 적용기 #1: CDC 환경은 왜 제대로 동작하지 않을까?
간단 소개
토스증권의 Iceberg 적용기: CDC 환경에서 발생하는 데이터 정합성 문제와 해결 방안, 그리고 Iceberg CDC 활용 사례를 소개합니다.
AI Summary
- Iceberg의 Update 전략
- COW(Copy-on-Write) 방식은 읽기 성능이 중요할 때 적합하지만, 쓰기 비용이 크다.
- MOR(Merge-on-Read) 방식은 쓰기 부담을 줄이지만, 읽기 시 삭제 파일 병합으로 성능 저하가 발생할 수 있다.
- Iceberg CDC 환경 문제점 및 해결
- 동일 id 이벤트가 다른 Kafka Partition으로 유입 시, Equality Delete로 인해 데이터 중복 발생 가능. Kafka Topic의 key를 Iceberg Table의 id 컬럼으로 설정하여 해결.
- Commit Timeout 발생 시, insertedRowMap 초기화로 Position Delete 대신 Equality Delete가 사용되어 데이터 중복 발생. Coordinator에 preCommit 단계 추가하여 해결.
- Schema Evolution 발생 시, insertedRowMap 초기화로 데이터 중복 발생. Registry에서 insertedRowMap을 관리하도록 재개발하여 해결.
- Iceberg CDC 활용
- 토스증권은 위 문제 해결 후 Iceberg CDC를 준실시간으로 안정적으로 활용, History 테이블, Upsert 모드, Delete-only 모드 등 다양한 형태로 활용.
- Batch Job 규모가 큰 작업들을 CDC + Iceberg 조합으로 효율적으로 적재, 저장소 레벨에서 중복 제거 기능을 활용.
Next Feeds

여기어때 CI/CD 개선기 Part 4: 공통 Helm Chart 설계와 추상화
여기어때 DevOps팀의 공통 Helm Chart 설계 및 추상화 전략을 통해 CD 공통화의 난관을 극복하고 개발 편의성과 안정성을 확보한 과정을 설명한다.
CI/CDHelm ChartDevOpsKubernetes추상화
2025. 9. 10.
여기어때

여기어때 CI/CD 개선기 Part 5: Slack으로 완성되는 배포 가시성
GitLab CI, ArgoCD Notifications를 활용하여 CI/CD 알림을 개선하고, 팀별 대응 및 모니터링 가시성을 확보한 사례를 공유합니다.
CI/CDGitLab CIArgoCDSlackDevOps
2025. 9. 10.
여기어때

여기어때 CI/CD 개선기 Part 3: Helm Chart Registry 도입기
여기어때의 Helm Chart Registry 도입 및 AWS ECR 활용을 통한 CI/CD 개선 사례와 효과를 설명합니다.
Helm ChartCI/CDAWS ECRKubernetesDevOps
2025. 9. 10.
여기어때

엔터프라이즈 AI 에이전트 성능 평가 가이드 : 인포그랩 NEXA의 LLM-as-a-Judge 실전 적용 사례
인포그랩 NEXA의 엔터프라이즈 AI 에이전트 성능을 LLM-as-a-Judge 방식으로 평가하여 도구 사용의 정확성과 효율성을 검증하는 사례.
AI 에이전트LLM-as-a-Judge성능 평가도구 호출NEXA
2025. 9. 10.
인포그랩

엔터프라이즈 AI 에이전트 성능 평가 가이드 : 인포그랩 NEXA의 LLM-as-a-Judge 실전 적용 사례
엔터프라이즈 AI 에이전트 성능 평가 가이드: 인포그랩 NEXA의 LLM-as-a-Judge 실전 적용 사례를 통해 에이전트 평가 방법을 제시합니다.
AI 에이전트성능 평가LLM-as-a-JudgeNEXA도구 호출
2025. 9. 10.
인포그랩
카카오 AI 앰배서더를 공개 모집합니다.
카카오에서 AI 앰배서더를 모집합니다. AI 기술에 관심 있는 누구나 참여 가능하며, 다양한 혜택이 제공됩니다.
카카오AI앰배서더모집기술
2025. 9. 10.
카카오