최적의 메시지 브로커를 찾아서

간단 소개

프리즘 시스템의 메시지 브로커 변천사(SQS, Kafka, RabbitMQ)와 선택 기준, RabbitMQ의 장점을 분석합니다.

AI Summary

프리즘 시스템과 메시지 브로커의 중요성
- 매드업의 프리즘 시스템은 광고 데이터 수집을 위해 마이크로 서비스 간 메시지 기반 비동기 통신을 사용하며, 안정적이고 효율적인 메시지 브로커 선택이 중요합니다.
- 메시지 브로커는 최소 한 번 전달을 목표로 하며, 안정적인 메시지 전달, 유연한 컨슈머 스케일링, 효율적인 메시지 분배 등의 기능이 필요합니다.
메시지 브로커 변천사: SQS, Kafka, RabbitMQ
- SQS는 초기 도입되었으나 visibility timeout 설정의 어려움으로 인해 Kafka로 대체되었습니다.
- Kafka는 컨슈머 그룹 리밸런싱 지연 및 파티션 구조로 인한 메시지 처리 지연 문제가 발생했습니다.
- RabbitMQ는 AMQP를 구현, 컨슈머 ack 기반의 안정적인 메시지 전달, 쉬운 컨슈머 스케일링, 효율적인 메시지 분배 등의 장점을 제공합니다.
RabbitMQ의 추가적인 장점 및 결론
- RabbitMQ는 exchange, 라우팅 키, 우선순위 큐 등의 기능을 제공하여 다양한 메시지 전달 방식을 지원합니다.
- 서비스 요구사항에 맞는 메시지 브로커를 선택하는 것이 중요하며, 시행착오를 통해 최적의 솔루션을 찾아가는 과정이 필요합니다.