Airflow Task failed Alert Mail 폭탄 회피하기

간단 소개

Airflow Task 실패 시 Alert mail 폭탄 문제를 해결하기 위해 DAG run 당 1회 Alert mail 발송 방안을 제시하고 구현 방법을 설명합니다.

AI Summary

Airflow Alert Mail 문제점 및 해결 방안
- Airflow는 Task 실패 시 Alert mail을 발송하지만, 동일 문제로 다수 Task가 실패할 경우 메일 폭탄 발생
- 해결책으로 DAG run 당 1회만 Alert mail을 발송하는 방식 제안
구현 방법
- Task의 email_on_failure 속성을 False로 설정하여 개별 Task의 Alert mail 발송을 중단
- DAG의 leaves 속성을 사용하여 DAG의 마지막 Task를 가져오고, Alert Task를 downstream으로 연결
- trigger_rule을 all_done으로 설정하여 Alert Task가 항상 실행되도록 함
- DAG run과 Task Instance의 속성을 활용하여 실패한 Task의 정보를 Alert mail에 포함
추가 기능 및 효과
- 실패한 Task의 Log를 Alert mail 본문에 추가하여 문제 파악 용이성 향상
- remove_duplicate_alert() 함수를 통해 DAG의 Alert mail을 쉽게 통합 가능
- Airflow의 다양한 요소와 속성을 활용하여 DAG와 Task를 재구성하고, Airflow를 더욱 강력하고 편리하게 발전시킬 수 있음