알리는사람들의 Amazon Data Firehose로 Amazon DynamoDB를 Amazon S3 tables로 실시간 복제하기

간단 소개

알리는사람들은 Amazon Data Firehose를 활용해 DynamoDB 데이터를 S3 Tables로 실시간 복제하고 Athena로 분석하는 파이프라인을 구축했습니다.

AI Summary

알리는사람들의 데이터 파이프라인 구축
- 알리는사람들은 Amazon Data Firehose를 사용하여 Amazon DynamoDB의 실시간 스트림 데이터를 Apache Iceberg 기반의 Amazon S3 Tables로 적재하고, Amazon Athena에서 분석 가능한 형태로 전환하는 파이프라인을 구축했습니다.
- 센드온(Sendon) 메시징 플랫폼은 DynamoDB를 주요 저장소로 사용하지만, 분석을 위해 DynamoDB 데이터를 S3 Tables로 복제합니다.
파이프라인 아키텍처 및 구성
- DynamoDB의 변경 이벤트는 Kinesis Data Stream을 거쳐 Data Firehose로 전달되고, Lambda 함수를 통해 데이터가 정제되어 Iceberg 테이블에 적재됩니다.
- Resource Link를 사용하여 Firehose가 s3tablescatalog에 접근하며, 데이터는 Parquet 포맷으로 자동 변환됩니다.
- Lake Formation을 통해 접근 권한을 관리하고, Athena/QuickSight를 통해 데이터를 분석/시각화합니다.
파이프라인 확장 계획
- 향후 멀티 테이블 대응, 지표 분석 자동화, 대시보드 연동 등을 통해 데이터 레이크를 확장할 계획입니다.
- 실시간 운영 데이터를 Iceberg 기반으로 통합 분석하여 데이터 기반 의사결정을 가속화하고 더 나은 메시징 서비스를 제공하는 것을 목표로 합니다.