당근의 AWS 기반 피처 플랫폼 구축 여정, Part 2: 피처 수집

피처 플랫폼 스트림 수집

• 당근은 AWS 기반 피처 플랫폼의 스트림 수집 파이프라인을 구축했으며, Amazon MSK로 이벤트 수집 후 Amazon EKS 컨슈머가 피처를 가공 및 저장.
• Dispatcher와 Aggregator로 M:N 관계 처리, fast at-least-once 보장 위해 자체 컨슈머 구현으로 처리 속도와 안정성 향상. 배치 수집 및 개선
• 배치 수집은 AWS Fargate 기반 AWS Batch로 대규모 데이터 일괄 처리.
• 향후 DAG 지원, 병렬 처리 자동화, AWS Batch 모니터링 개선 계획. 주요 성과 및 AWS 활용
• 피처 플랫폼으로 추천 시스템 서버 의존성 탈피, 1,000개 이상 피처 확보, 클릭률 30%, 전환율 70% 증가.
• Amazon DynamoDB, ElastiCache, MSK 등 AWS 서비스 활용, 전문가 지원으로 ElastiCache 비용 40% 절감.