Dataflow로 컬리의 준실시간 수요 예측모델 파이프라인 구축하기 - 1편

간단 소개

컬리의 준실시간 수요 예측 모델 파이프라인 구축을 위해 Dataflow를 도입하고, Dataflow 서비스 전반에 대한 개념과 배포 과정을 소개합니다.

AI Summary

Dataflow 도입 배경
- 컬리의 준실시간 수요 예측 모델 서빙을 위해 Dataflow를 도입, BigQuery 데이터 기반 파이프라인 구축 필요.
- 대용량 분산 처리 및 스트리밍 프로세싱 지원, auto-scaling, rebalancing 등 인프라 관리 포인트 감소가 매력적.
Dataflow 서비스 이해
- Apache Beam은 배치와 스트리밍 파이프라인을 모두 처리하는 프로그래밍 모델이며, Dataflow는 Beam 모델을 실행하는 프레임워크 중 하나.
- Dataflow 파이프라인은 준비 단계(Queued state)와 실행 단계(Running state)를 거쳐 실행.
- Flex 템플릿은 파이프라인을 패키징하여 재사용 가능한 형태로 만들어 Dataflow 배포를 간소화.
Dataflow CI/CD 및 설정 팁
- GitHub Actions를 사용하여 템플릿 빌드부터 Dataflow 배포까지의 CI/CD 워크플로우 구축.
- 스트리밍 파이프라인에서는 streaming engine을 사용하여 worker VM 부담을 줄이고, Dataflow service agent에 적절한 역할을 부여하여 권한 문제 해결.