Apache Iceberg Table Management작업에서 발생하기 쉬운Amazon S3 이슈 분석과 해결 방안

간단 소개

Apache Iceberg 테이블 관리 작업 시 S3 이슈 분석 및 해결 방안: CloudWatch, S3 Access Logging 활용, S3 Throttling 완화를 위한 파티셔닝 전략.

AI Summary

Apache Iceberg Table Management 이슈 분석
- Iceberg 테이블 관리 작업 시 expire_snapshots, remove_orphan_files, rewrite_manifests 프로시저 사용 중 S3 에러 발생
- Amazon CloudWatch 메트릭과 S3 Server Access Logging을 활용하여 문제 분석
- 4XX 에러는 remove_orphan_files 수행 시 모든 파티션 스캔으로 발생, 과금되지 않으므로 무시 가능
S3 Throttling 해결 방안
- 다수 Iceberg 테이블을 하나의 S3 버킷에서 관리 시 S3 Throttling(503) 발생 가능성 존재
- Hash 파티셔닝(write.object-storage.enabled = True) 또는 날짜 기반 prefix 설계를 통해 S3 요청 분산
- Hash 파티셔닝은 Athena에서 자동 적용, Spark 사용 시 수동 설정 필요