Apache Spark에서 컬럼 기반 저장 포맷 Parquet(파케이) 제대로 활용하기

간단 소개

Apache Spark에서 Parquet 포맷을 활용하여 저장 용량과 처리 성능을 극적으로 개선한 경험 공유 및 최적화 과정 분석.

AI Summary

Parquet 포맷 도입 배경 및 효과
- JSON 형식 로그 파일 처리의 비효율성 개선을 위해 Parquet 포맷 도입
- 저장 용량 74% 감소, 처리 성능 10~30배 향상
Parquet 심층 분석 및 최적화
- Spark의 parquet-mr 버전이 구버전임을 확인, 필요에 따라 옵션 조정 및 직접 수정 필요
- Dictionary encoding, Column pruning, Predicate pushdown 등의 기능 활용 시도
성능 향상을 위한 노력
- parquet.block.size 및 parquet.dictionary.page.size 조정으로 Dictionary encoding 효율 증대
- Top level field에 대한 Column pruning 및 Predicate pushdown 활용
- parquet.string.min-max-statistics 옵션 조정으로 쿼리 성능 향상