디프로모션의 DynamoDB, zero-ETL, ElastiCache Serverless 도입기

간단 소개

디프로모션의 DynamoDB, zero-ETL, ElastiCache Serverless 도입 과정을 통해 얻은 교훈과 기술적 개선 사항을 공유합니다.

AI Summary

초기 시스템 구조
- MemoryDB for Redis를 핵심 데이터베이스로 사용, 높은 처리 성능과 쉬운 수평 확장.
- OpenSearch를 도입하여 유연한 데이터 검색 및 분석을 수행, Document 기반의 스키마 활용.
- S3와 CloudFront를 통해 미디어 리소스와 같은 정적 리소스를 효율적으로 관리.
DynamoDB 도입 및 zero-ETL 파이프라인 구축
- 트래픽 변동에 따른 자원 효율성 문제 해결을 위해 DynamoDB 도입, 온디맨드/프로비저닝 모드 활용.
- DynamoDB Streams와 PITR을 활용하여 DynamoDB와 OpenSearch 간 zero-ETL 파이프라인 구축, 실시간 데이터 동기화.
ElastiCache Serverless 도입
- 응답 속도 향상을 위해 ElastiCache Serverless 도입, Valkey 엔진을 선택하여 자동 확장성 확보.
- Write-Through, Lazy Loading 캐싱 전략을 적용하여 DynamoDB 비용 절감 및 운영 효율성 향상.