로그 유형별 Iceberg 테이블 적재 및 운영 전략

간단 소개

로그 유형(DB, 서버)별 Iceberg 테이블 적재 및 운영 전략, 압축, 파티션, 최적화, 모니터링 방안을 제시합니다.

AI Summary

로그 유형별 Iceberg 테이블 적재 전략
- DB 로그는 UPSERT 모드로, 서버 로그는 APPEND 모드로 적재하는 전략을 사용합니다.
- DB 로그는 Primary Key 기반의 bucket transform 파티션을, 서버 로그는 처리 시간 기반의 identity transform 파티션을 적용합니다.
압축, 파티션 및 최적화 전략
- zstd 압축 코덱을 사용하며, 압축 레벨에 따른 CPU 사용률 및 지연 여부를 테스트했습니다.
- DB 로그는 일 2회, 서버 로그는 매 시간 최적화를 수행합니다.
모니터링 전략
- 쿼리 성능에 영향을 미치는 파일 상태와 스토리지 내 모든 파일 상태를 모니터링합니다.
- 프로메테우스, 그라파나, TSCoke를 활용하여 지표를 시각화합니다.