Self Serving Data Platform 구축하기 (feat. Airflow)

간단 소개

버즈빌은 Airflow 기반 셀프 서빙 데이터 플랫폼을 구축하여 데이터 접근성을 높이고, 엔지니어 효율성을 개선했습니다.

AI Summary

셀프 서빙 데이터 플랫폼 구축 배경
- 특정 팀 의존 없이 누구나 데이터 생산/소비 가능한 플랫폼 필요
- 기존 방식의 인지 부하 및 팀들의 불편함 증가
- 도메인 전문성 활용 극대화 목표
버즈빌 데이터 인프라 핵심 구성 요소
- Athena/S3: 데이터 1차 저장소, SSOT 역할, 대용량 데이터 전처리 및 쿼리
- Redshift: 데이터 웨어하우스, 빠른 쿼리 속도, 비즈니스단 ad-hoc 쿼리 및 대시보드
- Airflow: 데이터 파이프라인 관리, 스케줄링, 운영계 데이터 분석계 동기화
셀프 서빙 플랫폼 구축 및 효과
- YAML 기반 Airflow DAG 템플릿 제공으로 사용 편의성 증대
- 파티셔닝, 데이터 완전성, 멱등성 등 고려 사항 추상화
- 팩토리 패턴 적용으로 파이프라인 생성 및 관리 자동화, 코드 재사용성 향상
- 데이터 엔지니어는 플랫폼 기능 강화에 집중, 각 도메인 전문성 활용 극대화