당
당근
December 8, 20253회
매번 다 퍼올 필요 없잖아? 당근의 MongoDB CDC 구축기

간단 소개
당근은 MongoDB 대규모 데이터 덤프 문제를 해결하기 위해 Flink CDC 기반 파이프라인을 구축하여 DB 부하를 줄이고 데이터 적재 안정성을 확보했습니다.
AI Summary
배경 및 문제점
- 당근은 다양한 DB 데이터를 BigQuery로 적재하나, MongoDB 데이터 규모 증가로 기존 Spark Connector 덤프 방식이 2시간 SLO 및 DB 부하 안정화 목표를 동시에 충족하기 어려웠습니다.
- 대용량, 빈번한 업데이트 테이블의 덤프 개선, DB CPU 60% 이하 안정화, 2시간 SLO 내 완료를 위해 CDC(Change Data Capture) 도입을 결정했습니다. Flink CDC 선택 및 구축
- Flink CDC는 MongoDB Change Stream 네이티브 지원, 강력한 상태 관리 및 체크포인트, End-to-End 통합 파이프라인, 병렬 처리 확장성으로 선정되었습니다.
- 아키텍처는 MongoDB Change Stream을 Flink CDC가 구독, 변환 후 BigQuery로 전송하는 구조입니다.
- Initial Full Dump는 Spark Job으로, Schema Evolution은 **JSON 원본(Stage 1)**과 최종 테이블(Stage 2) 분리 및 자동화된 스키마 변경 시스템으로 대응했습니다. 운영 및 정합성
- 트랜잭션 순서 보장은 Change Stream의 oplog 기반 동작과 fullDocument 옵션으로 해결했습니다.
- 정합성 검증은 기존 Full Dump와 CDC 파이프라인을 dual write로 2주간 병행 운영하며 레코드 수, 데이터 신선도, 중복 ID, checksum 비교를 통해 100% 정합성을 확인했습니다.
- Flink Job 상태, Backpressure 등 핵심 지표 모니터링 및 Fault Tolerance 설정을 통해 안정적인 운영을 확보했습니다.
Next Feeds

생성형 AI와 테스트 케이스 자동 생성: 반복 업무 자동화로 품질 혁신
생성형 AI를 활용한 테스트 케이스 자동 생성으로 QA 반복 업무를 줄이고 품질을 혁신하며, QA 엔지니어의 전략적 역할 변화를 지원합니다.
생성형 AI테스트 케이스 자동 생성QA 엔지니어반복 업무 자동화프롬프트 구성
2025. 12. 8.
한글과컴퓨터

Mapping Karrot’s Data: How We Built Column-Level Lineage
당근은 SQL 파싱을 통해 BigQuery의 컬럼 레벨 데이터 리니지를 구축하여 데이터 가시성과 신뢰성을 높였다.
Data LineageSQL ParsingBigQueryData GovernanceColumn-Level
2025. 12. 5.
당근

동적 사용자 분할을 활용한 새로운 A/B 테스트 시스템을 소개합니다
LINE+에서 개발한 동적 사용자 분할 기반의 고도화된 A/B 테스트 시스템과 그 아키텍처, 활용 사례를 소개합니다.
A/B 테스트동적 사용자 분할타겟팅 시스템개인화 테스트사용자 세그먼트
2025. 12. 5.
LY Corp

셀트리온제약의 의약품 공급망 관리 강화를 위한 멀티 에이전트 시스템 구축 여정
셀트리온제약이 AWS Bedrock 기반 멀티 에이전트 AI 시스템을 구축하여 의약품 공급망 관리 S&OP 회의의 의사결정 속도와 정보 정확도를 개선한 사례.
셀트리온제약멀티 에이전트공급망 관리S&OPAWS Bedrock
2025. 12. 5.
AWS

2026년 AI 트렌드: ‘도구’를 넘어 ‘업무 주체’로 진화하는 Agentic AI
2026년, AI는 단순 도구를 넘어 자율적 업무 주체인 Agentic AI로 진화하며, 문서 기반 워크플로우를 혁신하고 있습니다.
Agentic AI멀티 에이전트 시스템문서 자산화AI 트렌드워크플로우 자동화
2025. 12. 5.
한글과컴퓨터

LLM이지만 PDF는 읽고 싶어: 복잡한 PDF를 LLM이 이해하는 방법
Naver가 개발한 LLM 친화적 PDF 파서 PaLADIN은 복잡한 PDF 문서의 표, 차트, 숫자를 LLM이 정확히 이해하도록 돕는다.
LLMPDF ParserPaLADINNAVER ENGINEERING DAY문서 처리
2025. 12. 4.
Naver d2