DBT, Airflow를 활용한 데이터 계보 중심 파이프라인 만들기

간단 소개

NAVER ENGINEERING DAY 발표 세션으로, DBT와 Airflow를 활용해 데이터 계보 중심의 'Flow.er' 파이프라인을 구축하고 확장한 경험을 공유합니다.

AI Summary

데이터 파이프라인 혁신: Flow.er 개발
- NAVER ENGINEERING DAY 2025 발표, 기존 데이터 파이프라인 문제 해결을 위한 on-demand data lineage pipeline 'Flow.er' 개발 소개.
- DBT와 Airflow 활용, 데이터 계보 중심 파이프라인 구축 경험 공유. Data Product 운영 및 DBT 도입 고려 엔지니어 대상.
Flow.er 핵심 기술 및 확장
- 'Flow.er'는 DBT의 데이터 모델링과 Airflow의 워크플로우 오케스트레이션 결합으로 구축.
- 개인 인스턴스, 모델 관리 페이지, CI/CD 파이프라인 등 컴포넌트로 조직 확장 및 운영 비용 절감. 'Playground' 등 추가 프로덕트 개발로 확장성 확보.
Flow.er의 미래
- MCP 서버 운영 등 'Flow.er'의 미래 발전 방향 제시.