로그 인리치먼트(Log Enrichment)

간단 소개

로그 인리치먼트 구축 사례를 통해 아키텍처 선택, 메타데이터 관리, 데이터 저장 및 추출 전략을 설명합니다.

AI Summary

로그 인리치먼트의 중요성 및 방식
- 로그 인리치먼트는 보안, 규정 준수, 문제 해결에 필수적이며, 특히 민감한 데이터를 다루는 서비스에서 중요합니다.
- 동기 방식은 데이터 일관성이 높지만 성능 문제가 발생할 수 있고, 비동기 방식은 성능은 좋지만 데이터 정합성 문제가 발생할 수 있습니다.
모두싸인의 비동기 방식 채택 및 메타데이터 저장소 구축
- 모두싸인은 마이크로 서비스 아키텍처의 특성상 서비스 간 의존성을 줄이기 위해 비동기 방식을 선택했습니다.
- 메타데이터 저장소를 구축하여 로그 시스템과 서비스 간 의존성을 제거하고, 리소스 삭제로 인한 합성 실패 문제를 해결했습니다.
- **CDC(Change Data Capture)**를 활용하여 메타데이터를 동기화하고, 동기화 지연 시 재시도 로직 및 **DLT(Dead Letter Topic)**를 통해 안정성을 확보했습니다.
로그 저장 및 추출 전략
- 대량의 로그를 효율적으로 저장하기 위해 S3 오브젝트 스토리지를 사용하고, 리텐션 설정을 통해 법적 의무 보유 기간을 준수했습니다.
- 고객별, 시간별 파티셔닝을 통해 로그 관리 효율성을 높였습니다.
- 카프카 커넥터를 사용하려 했으나, 파티션 문제로 인해 자체 컨슈머를 구현했습니다.
- 로그 추출 시 중복을 제거하기 위해 파일명에 오프셋 정보를 포함하고, 추출 과정에서 식별자를 기준으로 필터링했습니다.