서버리스에서 쿠버네티스로 - Airflow 운영 경험기

간단 소개

컬리는 Airflow를 관리형 서비스에서 K8S로 전환하며 CPU 과부하, OOM, 로그 문제 등을 해결하고 비용 절감 효과를 얻었습니다.

AI Summary

Airflow 운영 환경 전환 배경
- 컬리는 기술 성숙도를 높이기 위해 관리형 서비스에서 K8S 환경으로 Airflow 운영 환경을 전환함.
- 성능 및 비용 최적화를 목표로 하며, 직접 관리하며 기술 수준을 향상시키고자 함.
K8S 환경에서의 Airflow 운영 이슈 해결
- CPU 과부하 문제: GitSync로 인한 스케줄러 CPU 사용량 급증 문제를 min_file_process_interval 값 조정으로 해결함. Airflow 2.0부터 GitSync한 DAG 파일을 직렬화하여 Metadata를 DB에 저장하는 작업이 스케줄러에 영향을 미침.
- OOM 문제: 워커의 메모리 부족으로 인한 파드 종료 문제를 해결하기 위해 K8S 자원 제한 정책(request, limit)을 적용하고, Taint와 Tolerations을 통해 노드를 분리하여 관리함.
- 실행 로그 문제: 워커에 태스크 할당 지연으로 로그가 사라지는 문제를 해결하기 위해 워커 수를 늘리는 스케일 아웃을 적용함.
운영 환경 전환 효과 및 소감
- Airflow 및 K8S 기술 역량 증가, 관리형 서비스 대비 비용 50% 절감 효과를 얻음.
- 로그 수집 및 모니터링 고도화 필요성을 느끼고, K8S에서 Airflow를 안정적으로 운영하기 위한 노력을 지속할 계획임.