데이터 분석가가 직접 정의, 배포, 관리하는 뱅크샐러드 데이터 파이프라인

간단 소개

뱅크샐러드는 데이터 분석가가 직접 정의, 배포, 관리하는 데이터 파이프라인 datapipe를 구축하여 데이터 활용도를 높였습니다.

AI Summary

뱅크샐러드 데이터 인프라
- 십수 개의 마이크로서비스와 각 서비스의 저장소, 모바일/서버 이벤트, 3rd-party 광고 데이터, 공공 데이터 등을 수집.
- 수집된 데이터는 S3, Glue 기반 데이터 레이크에 적재, Athena, Spark를 통해 분석. Metabase, Jupyter Notebook 활용.
- Airflow로 관리되는 데이터 파이프라인은 매 시간, 매일 Spark 작업을 실행.
데이터 파이프라인 개발의 어려움과 해결
- 초기 파이프라인은 데이터 엔지니어만 개발/관리 가능, 데이터 사용자는 ETL 요청.
- 데이터 엔지니어링 팀의 병목 현상 발생, 데이터 사용자가 직접 파이프라인 개발 필요.
- datapipe 프로젝트를 통해 데이터 사용자가 데이터 처리 로직에만 집중하도록 추상화.
datapipe의 주요 기능 및 효과
- 테이블 메타 데이터 객체 선언, DAG 디펜던시 설정 간소화.
- Slack ChatOps 배포 워크플로우를 통해 사용자 직접 배포 및 Airflow 조작 가능.
- 테스트 서버 및 유닛 테스트를 통해 개발 단계에서 파이프라인 테스트 및 검증.
- 데이터 퀄리티 속성 설정을 통해 데이터 문제 예방 및 관리.
- 데이터 엔지니어가 아닌 직군의 파이프라인 개발, 수정, 배포 사례 증가.