리멤버앤컴퍼니의 Amazon S3 Tables를 활용한 실시간 분석 워크로드 구축하기 1부: S3 Tables에 CDC 데이터 레이크 구축하기

도입 배경 및 문제점

• 리멤버앤컴퍼니는 기존 Amazon S3에 Parquet 파일 적재 및 Presto를 활용한 대용량 데이터 분석 방식에서 비효율성을 겪었습니다.
• 매일 새벽 Full Refresh 방식의 데이터 적재는 Aurora MySQL과 S3에 높은 부하를 주어 비용이 증가했습니다.
• 운영 DB를 통한 실시간 분석은 Aurora MySQL의 HLL 지표 증가 및 롱 쿼리로 인한 운영 트랜잭션 지연 문제를 야기했습니다.

기술 목표 및 아키텍처 전환

• Incremental Update 기반의 CDC(변경 데이터 캡처) 데이터 적재로 효율적인 동기화를 목표로 했습니다.
• Aurora Reader 인스턴스에 직접 쿼리 없이 Iceberg 기반 분석 레이크하우스로 전환하여 실시간 분석을 지원합니다.
• 새로운 아키텍처는 Aurora MySQL -> Debezium -> Amazon MSK -> Apache Iceberg 기반 Amazon S3 Tables -> StarRocks -> PyIceberg/Grafana로 구성됩니다.

CDC 데이터 레이크 구축 상세

• 기존 데이터 마이그레이션은 Full Load (AWS Glue/PySpark)와 CDC 동기화로 진행되었습니다.
• **AWS Glue(PySpark)**를 활용해 Aurora MySQL 데이터를 S3 Tables로 병렬 이관하며, Spark 설정 및 동적 파티션 조절을 적용했습니다.
• Amazon MSK를 허브로 Debezium MySQL Connector와 Databricks Iceberg Kafka Connector를 Amazon ECS에 배포하여 CDC 파이프라인을 구축했습니다.
• Debezium Connector는 snapshot.mode=no_data, snapshot.locking.mode=none으로 설정하고, Iceberg Kafka Connector는 DebeziumTransform을 통해 CDC 이벤트를 Upsert 모드로 반영합니다.
• S3 Tables는 Amazon Athena의 s3tablescatalog를 통해 조회 가능하며, 기존 Glue Catalog와 독립적으로 운영됩니다.