DynamoDB야 진정해! Kafka와 Redis로 구현하는 실시간 역압력 아키텍처 구축기

간단 소개

DynamoDB 부하를 실시간으로 감지하여 Kafka와 Redis를 활용해 배치 작업 처리량을 동적으로 제어하는 역압력 아키텍처 구축 사례.

AI Summary

배경 및 문제점
- 새벽 배치 작업으로 인한 DynamoDB 쓰로틀링 발생, 실시간 API와 DB 자원 경쟁 문제 발생.
- 정적 제어의 한계로 실시간 동적 처리량 제어 아키텍처 필요성 대두.
실시간 역압력 아키텍처 구현
- CloudWatch로 DynamoDB RCU/WCU 사용량 비율을 모니터링, 임계치 초과 시 SNS 알람 발행.
- 알람을 Redis Stream으로 전파, Spring Kafka의 pause()/resume()으로 배치 컨슈머 동적 제어.
- ConsumerRebalanceListener를 통해 리밸런싱 시에도 역압력 상태를 유지.
성과 및 개선점
- 운영 적용 후 읽기/쓰기 처리량 감소 및 안정성 확보.
- CloudWatch 1분 집계 주기 한계와 On/Off 제어 비효율성 개선 필요, Global RateLimiter 도입 고려.