Spark Streaming을 활용한 파생 데이터 생성 시간 감축 사례

간단 소개

Spark Streaming을 활용하여 파생 데이터 생성 시간을 단축하고 실시간 데이터 처리 시스템을 구축한 사례를 소개합니다.

AI Summary

파생 데이터 생성 방식의 문제점
- 기존 Hive Query 기반 배치 작업은 데이터 완전성을 위해 +1일 이후에 파생 데이터를 생성하여 분석 지연 발생
- 실시간 데이터 처리의 필요성 증대
SPaaS 'Router' 서비스 개발
- 데이터 파이프라인 시각화, Hive Query 재사용, 리소스 조정, 다양한 저장소 지원, 모니터링 기능 제공
- Kafka Connect 기반 데이터 저장 기능(Connect)과 Spark Streaming 기반 데이터 변환 기능(Processor)으로 구성
Stream-Processor를 통한 실시간 데이터 변환
- Spark Streaming을 사용하여 Kafka 데이터를 실시간으로 처리하고 Hive Query를 재사용
- Yarn 클러스터 자원 활용, 파이프라인별 리소스 할당, 데이터 처리량 조절 기능 제공
- Spark Job 정상 수행 여부, 처리 데이터 수, Kafka 데이터 지연 여부 등 3가지 관점에서 모니터링