Airbridge Data Pipeline에서 Serverless 활용 사례

간단 소개

Airbridge는 Serverless framework를 활용하여 Data Pipeline을 구축하고 운영하며, Kafka Connect 관리 및 Batch Job 실행 등의 사례를 소개합니다.

AI Summary

Serverless 기술 도입 배경
- Airbridge는 과거 Zappa를 활용한 API 서버 운영 경험을 바탕으로, Airflow의 task schedule 딜레이 및 운영 부담을 해결하고자 Lambda를 도입했습니다.
- 초기 Lambda 배포 환경의 불편함(IaC 구성의 어려움, 과도한 설정)을 개선하기 위해 Serverless framework를 도입했습니다.
Serverless framework의 장점 및 활용 사례
- Serverless framework는 적은 코드로 Lambda 구성 및 배포가 가능하며, 편리한 빌드 및 테스트 환경을 제공합니다.
- Airbridge는 Kafka Connect Manager의 task 자동 재시작, 광고 매체 데이터 연동 batch job 실행 등에 Serverless framework를 활용하고 있습니다.
Serverless 운영 시 고려 사항
- Lambda 운영 시 package 크기 제한 등의 제약 사항이 존재하며, SQS 연동 시 idempotent한 작업 설계, max batch size, reserved concurrency 등을 고려해야 합니다.
- Airbridge는 Lambda와 SQS를 활용하여 광고 매체 데이터를 효율적으로 연동하는 batch job을 운영하고 있습니다.