지금 매출 얼마인가요?

간단 소개

데브시스터즈의 준실시간 지표 서비스 도입 과정과 기술적 도전, 해결 과정을 담고 있으며, Spark Streaming 기반 파이프라인 구축을 통해 성공적으로 서비스를 제공하게 된 내용을 요약.

AI Summary

준실시간 지표 서비스 도입 배경
- 게임 런칭 시 정확하고 신속한 지표 확인의 중요성 증대
- 기존 지표 환경의 한계 (세부 지표 부족, 지표 집계 지연, 대규모 트래픽 처리 문제, 부정확한 지표)
새로운 준실시간 지표 파이프라인 구축
- 목표: 즉각 확인 필요한 핵심 지표 제공, 클라이언트 로그 적극 활용, 10분 이내 지연 시간, 적절한 인프라 비용, SQL 기반 ETL
- 스트리밍(Kafka), 전처리(Stream-Stream Join, Watermark), 집계(SQL 활용), 시각화(Kibana) 단계로 구성
플랫폼 선정 및 최종 구조
- KSQL 성능 문제, DLT 비용 문제로 Spark Streaming 직접 운영 방식 채택
- 최종 구조: Spark Streaming 기반 데이터 전처리 파이프라인, Airflow를 이용한 데이터 집계 및 Elasticsearch 전송 파이프라인 구성
- Kibana 대시보드를 통해 지표 시각화 및 빠른 데이터 갱신 지원
준실시간 지표 서비스 도입 효과
- 쿠키런: 모험의 탑 런칭 시 높은 관심과 긍정적 피드백, 비즈니스 성과 기여