CDC 파이프라인 정합성 검사 Spark 잡 개발 - Part 1. 코드 설계편

간단 소개

카카오 CDC 파이프라인 정합성 검사 Spark 잡 개발 Part 1: 코드 설계. 컴포넌트 분리, 디자인 패턴 적용, 코드 스타일 자동화 방법을 소개합니다.

AI Summary

CDC 파이프라인 정합성 검사 Spark 잡 개발 개요
- 카카오의 대규모 CDC 파이프라인 데이터 정합성 검사를 위한 Spark 잡 개발 경험 공유
- Scala 기반 Spark 잡 코드 설계 및 성능 최적화 방법 소개 (Part 1: 코드 설계, Part 2: Spark 최적화 예정)
코드 설계 핵심 내용
- JSON 설정 기반으로 Reader, Translator, Comparator, Reporter 컴포넌트 분리 및 설계
- 팩토리 패턴, 템플릿 메서드 패턴, 전략 패턴, 싱글톤 패턴 등 디자인 패턴 적용하여 유연하고 확장 가능한 구조 구축
- scalafmt, scalafix 활용하여 코드 스타일 자동화 및 일관성 유지