CDC 파이프라인 정합성 검사 Spark 잡 개발 - Part 2. Spark 최적화편

간단 소개

CDC 파이프라인 정합성 검사 Spark 잡 개발 시 Spark 최적화 전략 및 데이터 소스별 접근 방식, 성능 문제 해결 노하우를 공유합니다.

AI Summary

Spark 선택 이유 및 MySQL 최적화
- 대용량 데이터 처리, 다양한 데이터 소스 지원, 테이블 단위 모니터링 및 복구 용이성 때문에 Spark를 선택.
- Fullscan 모드는 numPartitions, partitionColumn, lowerBound, upperBound 옵션을 활용하여 병렬 처리 최적화. 워커 수와 파티션 수의 균형이 중요.
- Keybased 모드는 predicates 옵션을 사용하여 특정 PK만 조회. coalesce를 통해 파티션 수를 조정하여 과도한 작업 방지.
- Limit 모드는 서브쿼리를 사용하여 일부 레코드만 추출, 병렬 처리 최적화는 적용하지 않음.
Iceberg 최적화 및 기타 고려 사항
- Iceberg는 PK 기반 인덱스가 없어 풀스캔 후 필터링. Compaction, 스냅샷 만료 등 유지 관리 작업 중요.
- 캐싱을 통해 중복 쿼리 방지, full outer 조인을 통해 데이터 정합성 비교, 로컬 모드에서는 브로드캐스트 조인 제한.
- 변화분 PK가 연속된 경우 범위 기반 쿼리(BETWEEN)를 고려, Iceberg 테이블의 File-level Pruning 활용 및 Sort Order 도입 검토.