점점 커지는 RDB Table, S3로 귀양 보내고 Athena로 불러오기 - feat. Optimization with Spark Bucketing

간단 소개

뱅크샐러드는 MySQL 테이블을 S3로 이전하고 Athena와 Spark Bucketing을 통해 데이터 처리 비용을 최적화했습니다.

AI Summary

MySQL에서 S3로 데이터 이전 및 Athena 활용
- 뱅크샐러드는 증가하는 MySQL 테이블 크기 문제 해결을 위해 S3로 데이터를 이전하고 Athena를 사용하여 데이터를 호출하는 방식으로 변경.
- 초기에는 Athena 사용 후 예상보다 높은 비용 발생. Athena 비용은 스캔 데이터 양과 S3 API 호출 횟수에 비례.
Bucketing을 통한 성능 최적화
- Bucketing 적용으로 특정 user id 데이터 조회 시 필요한 파일만 읽도록 개선. 파티션 구조를 시간별에서 일별로 변경하여 Object 호출 수를 줄임.
- Spark Bucketing 방식이 Athena와 호환되지 않는 문제 발생, CTAS 방식으로 해결. Spark는 Hive와 달리 Executor가 Bucket마다 파일을 생성하므로 repartition을 통해 파일 수를 줄임.
비용 절감 효과 및 추가 개선 사항
- MySQL 데이터 저장 비용 절감 효과. Athena를 통한 데이터 호출 비용은 버켓팅 및 파티션 구조 변경 전에 비해 크게 감소.
- 버켓팅 테이블을 다룰 때 다른 엔지니어나 분석가가 효율적으로 처리할 수 있도록 작업 필요.