리디에서 Kafka를 사용하는 법

간단 소개

리디는 Kafka를 이벤트 스트리밍 플랫폼으로 활용하여 실시간 랭킹, 애널리틱스, 작업 큐 등 다양한 서비스를 개선하고 있습니다.

AI Summary

Kafka 도입 배경
- 기존 내부 API 호출 방식의 문제점 (응답 속도, 장애 전파) 해결을 위해 Kafka 기반으로 전환
- R-Bus 팀 출범 및 다양한 이벤트 처리 (고객 행동 로그, 콘텐츠 상태 변화 등)
Kafka 활용 사례
- 실시간 랭킹: 감상 데이터 API 호출 대신 Kafka 토픽을 통해 이벤트 수집 및 스트리밍, 응답 속도 향상 및 안정성 확보
- 애널리틱스: 앱 푸시 클릭, 구매 기록 등 데이터 통로로 활용, KPI 트래킹 및 실시간 대시보드 제공
- 작업 큐: 알림, 앱 푸시, 메일 발송 작업 병렬 처리, 실시간 부정행위 감지, 실시간 포인트 지급
구현 예시
- CloudEvents 메시지 포맷 사용, KafkaJS 기반 컨슈머 구현
- 메시지 게시 및 구독 함수를 통해 실시간 랭킹 구현