Transactional Outbox 패턴으로 메시지 발행 보장하기

간단 소개

Transactional Outbox 패턴을 리디 서비스에 적용한 경험 공유: Polling Publisher 방식 구현, 메시지 중복 처리 방지, 성능 개선 및 모니터링 과정 설명.

AI Summary

Transactional Outbox 패턴 소개 및 리디 적용 배경
- Event Driven Architecture에서 메시지 발행의 신뢰성을 보장하는 Transactional Outbox 패턴을 소개하고, 리디 서비스에 적용하며 느낀 점을 공유
- DB 트랜잭션과 메시지 publish를 원자적으로 처리할 수 없는 문제점을 해결하기 위해 패턴 도입
Transactional Outbox 패턴 구현 방식 및 리디 구현 과정
- Polling Publisher와 Transaction Log Tailing 방식 비교 후 Polling Publisher 방식으로 Message Relay 구현
- Outbox DB 테이블 스키마 정의, Outbox Polling과 Kafka Publish 인터페이스 구현, Redis lock과 MySQL record lock을 함께 사용하여 메시지 중복 처리 방지
- 처리된 메시지 삭제 방식 개선을 통해 lock wait 문제 해결 및 삭제 latency 개선
Message Relay 운영 및 모니터링
- Message Relay loop 구현 및 Datadog을 통한 지표 모니터링 (처리량, 에러 빈도, latency 변화, DB query 지표)
- 메시지 처리 지연 감지 및 알림 설정, 지속적인 모니터링 및 성능 개선 노력 강조