스케일 넘치는 대용량 감사 로그, 스마트하게 관리하기 (OVEN)

대용량 감사 로그 관리의 문제점

• 금융, 의료 등 민감 분야에서 감사 로그는 5년 이상 보관이 필수적이며, **테라바이트(TB)**급 데이터로 저장 및 조회에 어려움 발생.
• 기존 시스템은 스토리지 확장 비용, 느린 조회 성능, 외부 OLAP 연동 비효율성 등의 문제를 안고 있음. QueryPie OVEN 솔루션
• S3와 같은 오브젝트 저장소 연동으로 대용량 로그를 효율적으로 저장하고 비용을 절감하는 것을 목표.
• WORM(Write Once Read Many) 특성 활용, HotStore/ColdStore 분리, 경로 기반 파티셔닝으로 조회 및 외부 연동을 최적화.
• Bloom Filter를 적용하여 불필요한 데이터 접근을 줄여 내부 조회 성능을 향상시킴. 기대 효과 및 확장성
• 개발 편의성 증대, Athena/Hive 등 OLAP 저장소와 즉시 연동 가능하여 대규모 데이터 분석 용이.
• 현재 AWS S3, MinIO를 정식 지원하며, 향후 Google Cloud Storage, Azure Blob Storage 등으로 지원을 확장할 예정.