데이터 엔지니어의 Airflow 데이터 파이프라인 CI 테스트 개선기

간단 소개

버즈빌 데이터 엔지니어링 팀이 Airflow 데이터 파이프라인 CI 테스트를 개선하여 개발 효율성을 향상시킨 과정을 소개합니다.

AI Summary

CI 테스트 개선 배경
- 버즈빌 데이터 플랫폼 팀의 셀프 서빙 데이터 플랫폼 구축 후 데이터 파이프라인 추가 시 CI 테스트 시간이 오래 걸려 개발 효율 저하 발생.
- 벨로시티 스프린트 기간을 활용하여 CI 테스트 개선 작업 진행.
개선 과정
- build_image 단계: 빌드 캐싱 문제 해결 및 이미지 빌드 과정 의존성 개선으로 시간 단축.
- pytest-and-validate-athena-query 단계: 불필요한 커맨드 제거 및 병렬 실행으로 효율성 증대.
- mypy 단계: 깃허브 액션 캐시 저장소를 활용하여 캐싱 효율을 높임.
개선 결과 및 효과
- CI 테스트 시간이 최대 7분에서 3분대로 단축되어 약 50% 개선.
- 데이터 엔지니어 및 파이프라인 관리자들의 업무 효율성 향상 및 업무 집중도 개선.