함께 구매하면 좋은 상품이에요! - 장바구니 추천 개발기 2부

간단 소개

컬리의 장바구니 추천 시스템 개발 및 실시간 서빙 아키텍처 구축, 운영 경험 공유: 아키텍처, API, MLOps, 배포 전략, 향후 과제 포함.

AI Summary

실시간 추천 아키텍처 구축 및 운영
- AWS와 GCP 시스템 활용, EKS 클러스터에서 추천 모델 작업 수행
- BigQuery에 데이터 적재, Datadog과 Slack으로 모니터링 및 알림
서비스 API 및 모델 API
- 서비스 API는 모델 API 앞단에서 트래픽 처리, fallback 추천 제공, A/B 테스트, 로깅 기능 수행
- 모델 API는 Torchserve를 사용하여 구축, CPU Clock Speed 튜닝을 통해 응답 시간 최적화
안정적인 배포 및 MLOps
- GracefulShutdown을 적용하여 무중단 배포 구현, ALB TargetGroup 연결 과정에서 발생하는 다운타임 방지
- Kubeflow, MLFlow, Growthbook, Locust 등을 활용한 MLOps 시스템 구축 및 활용
- ArgoCD와 ArgoCD Image Updater를 사용하여 모델 API 배포 자동화