AWS Glue ETL을 활용한 CRM 데이터의 효율적인 병렬처리 전략

간단 소개

AWS Glue ETL을 활용하여 CRM 데이터 처리 효율성을 높이고, 서버리스 아키텍처로 운영 부담을 줄이며 비용을 절감한 사례 분석.

AI Summary

기존 방식의 문제점
- Aurora PostgreSQL, Athena 직접 쿼리 시 성능 저하 및 비용 증가
- 데이터 불일치 문제 발생
새로운 아키텍처
- Step Functions, Glue ETL, EventBridge 기반의 서버리스 아키텍처 도입
- Kinesis Data Streams, Firehose 통합으로 이벤트 수집 및 S3 저장
- EventBridge로 Step Functions 워크플로 트리거, Lambda 함수로 계산 대상 캠페인 선정
- Glue ETL 작업으로 데이터 가공 후 PostgreSQL 적재
Glue ETL 최적화
- Python, PySpark 활용, Extract, Transform, Load 단계 분리
- DynamicFrame으로 반정형 데이터 처리, push_down_predicate_conditions, catalog_partition_predicates로 쿼리 최적화
- Temp View 활용, SQL 쿼리로 복잡한 연산 수행, Parquet 형식으로 중간 결과 저장