Athena로 CloudWatch Logs query 하기 - AB180 엔지니어링 베이스 | 기술블로그

간단 소개

CloudWatch Logs의 한계를 극복하고자 Athena를 활용하여 로그를 쿼리하는 과정과 고려사항, IaC 적용 방법을 설명합니다.

AI Summary

CloudWatch Logs 문제점 및 개선 방향
- CloudWatch Logs는 AWS 서비스 연동이 용이하나, 로그 검색의 불편함과 Logs Insights의 제한적인 기능(최대 row 제한, 느린 데이터 반영, 함수 부족, SQL과 상이한 문법)이 존재합니다.
- 개선 방향으로 SQL 사용 가능 및 타 DB 데이터와의 결합 필요성이 제기되었습니다.
Athena Federated Query 시도 및 S3 Shipping
- CloudWatch Connector를 이용한 Athena Federated Query는 쿼리 속도 문제와 에러 발생으로 인해 중단되었습니다.
- CloudWatch Logs의 Subscription Filter와 Kinesis Firehose를 활용하여 로그를 S3로 Shipping하고 Athena로 쿼리하는 방식으로 전환되었습니다.
S3 Shipping 시 고려사항 및 IaC
- Log group과 Firehose의 관계(1:1 또는 N:1), Firehose의 Dynamic Partitioning 기능, Athena Partition Projection 기능 활용 방안을 고려해야 합니다.
- Firehose buffer size 및 interval 설정 시 S3 비용, Athena 쿼리 비용, 실시간성 간의 균형을 고려해야 합니다.
- IaC(Infrastructure as Code)를 통해 Kinesis Firehose 생성, CloudWatch Logs Subscription Filter 추가, Athena Table DDL을 자동화할 수 있습니다.