어서 와, 광고 데이터 수집은 처음이지? (feat. kraken)

간단 소개

매드업의 데이터 수집 플랫폼 크라켄은 API 제약 극복, 데이터 수집 자동화, 효율성 증대를 목표로 구축되었으며, AWS ECS 기반의 아키텍처를 통해 안정적인 데이터 수집을 제공한다.

AI Summary

크라켄 소개 및 필요성
- 매드업의 DMP 프리즘의 일부인 크라켄은 API 호출 제약이 심한 매체의 데이터 수집 플랫폼이다.
- API 제약으로 인한 어려움을 극복하고, 데이터 수집 자동화 및 효율성을 높이기 위해 개발되었다.
API 제약 극복 전략
- Throttling을 통해 API 호출 간 시간 간격을 조절하고, Pagination을 통해 데이터 양 제한을 극복한다.
- Event Driven 방식으로 데이터 수집 프로세스를 관리하고, Redis Stream을 활용하여 메시지 상태를 추적한다.
- Parallel한 API 호출을 통해 다양한 API 종류와 광고 계정 데이터를 동시에 수집한다.
크라켄 아키텍처 및 효과
- AWS ECS 기반으로 구축되었으며, Throttling application, Collect application, Checker application으로 구성된다.
- GitHub Actions를 통해 자동 배포되며, 확장성을 고려하여 설계되었다.
- 크라켄 구축 후 특정 매체의 데이터 수집 에러율이 5~10%에서 0%로 감소했다.