Airflow2를 이용한 데이터 파이프라인 구성기

간단 소개

뤼이드의 Airflow2 기반 데이터 파이프라인 구축 사례를 통해 Airflow2의 주요 기능과 파이프라인 테스트 전략을 소개합니다.

AI Summary

Airflow 도입 배경 및 문제점
- 뤼이드에서 모델 학습, 데이터 분석, 캠페인 집계, 제품 대시보드를 위해 Airflow를 채택하고 사용한 사례 소개.
- 기존 데이터 처리 방식의 문제점: 데이터 가공/수집 프로세스 파편화, ETL 부재, 로컬 환경 의존성.
Airflow2 도입 및 주요 기능
- Airflow1의 XCom 문제 해결을 위해 Airflow2 도입 결정. TaskFlow API, TaskGroup, UI 개선 등 Airflow2의 주요 기능 활용.
- TaskFlow API를 통해 XCom 전송 간소화 및 코드 직관성 향상, TaskGroup을 통해 테스크 그룹화 및 관리 효율성 증대.
- Custom XCom Backend를 S3로 변경하여 대용량 데이터 처리 안정성 확보.
파이프라인 테스트 및 운영
- 유닛 테스트와 통합 테스트를 통해 파이프라인 검증. GitHub Actions를 이용한 CI 환경 구축.
- Airflow Connection, Variable 관리를 위해 Vault 활용. 로컬 테스트 환경 구축 및 Airflow Breeze 프로젝트 활용 모색.