Firehose부터 OpenSearch까지: AWS 서비스를 활용한 로그 분리 전략

간단 소개

AWS 서비스를 활용하여 특정 로그를 분리하고 장기간 보관하는 다양한 전략을 제시합니다. MDC, Fluent Bit, Lambda 등을 활용한 방법을 설명합니다.

AI Summary

애플리케이션 레벨 로그 분리
- MDC(Mapped Diagnostic Context)를 활용하여 특정 조건의 로그를 필터링하고, Logback 설정을 통해 분리된 로그를 별도 Appender로 전달.
- 서비스 레이어에서 특정 Logger를 직접 호출하여 로그를 분리하는 방식도 사용.
데이터 파이프라인 레벨 로그 분리
- OpenSearch Transform Jobs를 활용하려 했으나, 기존 데이터 집계 방식의 한계로 인해 다중 그룹핑을 적용해야 했고, 데이터 누적 문제로 2주 이상 보관 정책을 해결할 수 없어 다른 방법 모색.
- Fluent Bit 설정을 커스터마이징하여 로그를 분리하고, Firehose를 통해 전송. Terraform을 사용하여 Fluent Bit 설정을 S3에 업로드하고 관리.
- Lambda 함수를 이용하여 Firehose로 들어오는 로그를 필터링, 특정 조건에 따라 다른 Firehose 스트림으로 분리. Terraform을 통해 Lambda 함수와 Firehose를 자동 생성하고 IAM 역할 설정.
결론
- 다양한 로그 분리 방식을 통해 장기간 보관이 필요한 특정 로그를 분리하여 관리할 수 있음을 확인. 실제 운영 환경에서 적절한 방식을 선택하고 조합하여 효과적인 로그 관리가 가능.