스케일 넘치는 대용량 감사 로그, 스마트하게 관리하기 (OVEN)

간단 소개

QueryPie의 OVEN은 대용량 감사 로그의 효율적인 저장, 조회 및 외부 OLAP 연동을 최적화하는 솔루션입니다.

AI Summary

대용량 감사 로그 관리 문제점
- 로그 데이터 지속 증가로 스토리지 확장 및 높은 운영 비용 발생.
- 대규모 로그 빠른 조회 및 분석 어려움, 규정 준수 정보 추출 지연.
- 외부 OLAP 저장소 연동 시 ETL 추가 작업 필요, 개발 및 운영 부담 가중.
QueryPie OVEN 솔루션
- S3와 같은 오브젝트 저장소 연동으로 대용량 로그 효율적 저장.
- 외부 OLAP 연동 및 조회가 용이한 경로 기반 파티셔닝 데이터 저장 형태 제공.
- 감사 로그 특성 고려, 저장 및 조회 기능만 제공하여 불필요한 복잡성 배제.
OVEN의 주요 기능 및 기대 효과
- Bloom Filter를 활용하여 불필요한 데이터 접근을 스킵, 조회 성능 향상.
- AWS S3 활용으로 비용 절감, 개발 편의성 및 확장성/호환성 증대.
- Athena, Hive 등 OLAP 저장소와 즉시 연동 가능, 대규모 데이터 분석 용이.