Kafka Streams 윈도우 도입기

Kafka Streams 윈도우 도입 및 원리

• 컬리는 스파이크성 트래픽 준실시간 정산을 위해 Kafka Streams 텀블링 윈도우 도입.
• 텀블링 윈도우는 고정 간격 비겹침 집계, 유예 시간은 지연 이벤트 처리.
• 윈도우 발행은 스트림 시간이 윈도우 종료 및 유예 시간을 지나야 가능. 주요 문제 해결
• 문제 1: 데이터 생성 시간과 Kafka 발행 시간 불일치.
• 해결: Timestamp Extractor로 이벤트 시간을 데이터 생성 시간으로 재정의.
• 문제 2: 이벤트 부재 시 윈도우 미닫힘.
• 해결: 외부 더미 이벤트 발행으로 스트림 시간을 강제 전진시켜 윈도우 닫힘 유도.
• 핵심: 파티션별 다른 키값 사용으로 스트림 시간 독립적 전진.
• 후기: 이벤트 기반 시간 흐름 중요성 확인, 팀 협업으로 문제 해결.