리멤버앤컴퍼니의 Amazon S3 Tables를 활용한 실시간 분석 워크로드 구축하기 2부: S3 Tables를 프로덕션 환경에서 운영하기

간단 소개

리멤버앤컴퍼니가 Amazon S3 Tables를 프로덕션 환경에서 운영하며 Compaction, Snapshot 관리, PyIceberg 모니터링, StarRocks on EKS 도입으로 실시간 분석 워크로드를 최적화한 사례.

AI Summary

Amazon S3 Tables 운영 및 유지보수
- Compaction은 작은 파일을 병합하여 S3 API 요청, 메타데이터 비용, 쿼리 성능 저하를 방지하며, targetFileSizeMB (예: 512MB) 설정이 중요합니다.
- Snapshot Management는 minSnapshotsToKeep 및 maxSnapshotAgeHours를 통해 Time Travel 및 메타데이터 증가를 관리하며, 테이블 용도에 따라 정책을 차등 적용합니다.
- Unreferenced File Removal은 unreferencedDays, nonCurrentDays 설정을 통해 고아 파일을 자동으로 제거하여 스토리지 비용을 절감하고 운영 안정성을 확보합니다.
S3 Tables 모니터링 및 PyIceberg 활용
- S3 Tables는 자체 모니터링 기능이 없어 PyIceberg를 활용해 Iceberg 메타 정보 (전체 파일 수, 작은 파일 수, 평균 파일 크기)를 수집하여 모니터링 시스템을 구축했습니다.
- PyIceberg는 S3 Tables REST Endpoint를 통해 메타데이터 및 실제 데이터 파일에 접근하여 파일 단위 관리 및 최적화에 활용됩니다.
StarRocks On EKS를 통한 실시간 분석
- StarRocks를 EKS에 Shared-data 방식으로 도입하여 Presto/Athena의 한계를 극복하고 실시간 분석 및 저지연 쿼리를 지원합니다.
- S3 Tables를 외부 카탈로그로 연동하고, Pod 단위 수평 확장 및 메타데이터 캐싱을 통해 성능과 비용 효율성을 극대화했습니다.
- Materialized View 및 Bitmap 인덱스를 활용하여 초 단위 응답 속도를 달성하고 운영 DB 부하를 경감했습니다.