AWS MSK Connect 효과적으로 운영하기

간단 소개

올리브영 B2B 물류 스쿼드의 AWS MSK Connect 효과적인 운영 전략 및 데이터 안정성 확보 방안을 소개합니다.

AI Summary

MSK와 MSK Connect 기본 구조 및 특징
- **MSK(Kafka)**는 Broker, Producer, Consumer로 구성되어 데이터 무결성, 비동기 통신, 메시지 유지를 지원한다. Peak Throughput(MB/s): 605MB/s, P99 Latency(ms): 5ms(200MB/s load) 성능을 가진다.
- MSK Connect는 외부 시스템과 Kafka 클러스터 간 데이터 전송을 용이하게 하며, CDC(Change Data Capture) 기능을 제공하여 데이터베이스 변경 사항을 비동기적으로 복제한다. 다양한 Source/Sink Connector를 지원한다.
MSK 운영 안정성 확보 전략
- MSK 클러스터는 다중 AZ에서 Broker를 운영하고, Replication Factor 설정을 통해 데이터 손실을 방지한다. Partitions 설정과 Replication Factor 설정을 함께 고려하여 총 저장소 개수를 결정해야 한다.
- Avro 포맷과 AWS Glue Schema Registry를 활용하여 Topic 데이터 용량을 줄이고, 데이터 압축 효율을 높인다. Json 대비 24배 압축 효과를 보였다.
MSK Connect 장애 및 데이터 유실 방지
- MSK Connect 장애 시, 저장된 SCN 값을 기준으로 변경 내용을 재처리하여 데이터 소실을 방지한다. Consumer는 Ack를 통해 메시지 재전송을 관리하고, DLQ(Dead Letter Queue)를 설정하여 Serde 오류를 처리한다.
- DataDog와 AWS MSK를 연동하여 주요 지표를 모니터링하고, 커스텀 Metrics 지표와 결합하여 풍부한 모니터링 대시보드를 구성한다.