AWS DataZone에서 OpenLineage 기반의 Airflow 데이터 계보 그리기

간단 소개

Amazon DataZone을 활용하여 Airflow 데이터 계보를 구축하고 데이터 파이프라인의 신뢰성과 효율성을 향상시키는 방법을 제시합니다.

AI Summary

Airflow 데이터 계보의 중요성
- 데이터의 출처와 변환 과정 추적을 통해 데이터 신뢰성을 보장하고 문제 발생 시 원인 파악 용이
- 규제 준수 및 감사 요구사항 충족, 데이터 파이프라인 변경 영향 사전 분석
Amazon DataZone을 활용한 Airflow 데이터 계보 구축
- AWS Lambda를 사용하여 Airflow 데이터 계보를 OpenLineage 표준에 맞게 Amazon DataZone에 업데이트
- Production 계정과 Governance 계정으로 구성, Transit Gateway를 통해 연결
- Airflow Job 로그를 CloudWatch에 저장하고, Governance 계정에서 Assume Role을 통해 조회
데이터 계보 작성 및 업데이트 단계
- MWAA에 OpenLineage 구성, Airflow 로그 공유, CloudWatch 로그 쿼리, 프로시저 정의 요청 쿼리
- OpenLineage SQL Parser를 이용해 Input/Output 테이블 분석, DataZone API를 이용해 데이터 계보 업데이트