AI 실시간 추천 시스템을 위한 Flink 기반 스트림 조인 서비스 구축기

간단 소개

Flink 기반 스트림 조인 서비스 구축을 통해 실시간 추천 시스템의 성능을 향상시키고 데이터 정합성을 확보한 경험을 공유합니다.

AI Summary

실시간 추천 시스템 요구사항 및 기술 스택 선정
- Azar는 세션 기반 추천 시스템을 운영하며, 실시간 유저 정보 반영이 중요.
- Flink는 낮은 지연, 정밀한 시간 처리, 상태 관리 기능으로 실시간 이벤트 조합에 적합.
- KeyedProcessFunction은 Key 기반 이벤트 처리, 유연한 상태 관리, TimerService를 통한 정밀한 시간 제어 기능을 제공.
KeyedProcessFunction을 이용한 스트림 조인 구현 및 배포
- 이벤트 수집, 상태 관리, 타이머 설정 및 관리, 타이머 연장, 조합 로직 실행을 통해 이벤트 조합.
- Savepoint를 사용하여 상태를 안전하게 저장하고 복구하며, Blue-Green 배포 전략으로 무중단 서비스 배포.
- Savepoint 복구 시 타이머 만료 문제를 해결하기 위해 CheckpointedFunction을 사용하여 타이머 연장.
Exactly Once Semantics 보장
- 데이터 중복을 방지하기 위해 Redis를 활용한 중복 제거 로직을 구현하여 지연 시간을 크게 개선.
- Kafka 장애, Blue-Green 배포, Flink 재시작 시 발생할 수 있는 중복 발행 문제를 해결.
- Redis의 Atomic 연산을 통해 독립된 서비스 간 동시성 문제 없이 중복 여부 판단.