- 당근 마켓은 ML 서비스 팀과 ML 인프라 팀으로 나뉩니다. 🤝
- ML 인프라 팀은 트레이닝 인프라, 서빙 인프라, 데이터 인프라의 세 부분으로 구성됩니다. 🏗️
- 트레이닝 인프라 팀은 빠른 데이터 처리, 강력한 컴퓨팅 자원 제공, 복잡한 작업 자동화, 공용 구성 요소 제공에 중점을 둡니다. 🏁
- 서비스 팀은 Vertex AI 와 Data Flow를 활용하여 27개의 동시 트레이닝 파이프라인까지 실행하며, 79,000 VCPU를 사용하는 등 강력한 컴퓨팅 리소스를 사용합니다. 🚀
- 서빙 인프라 팀은 안정적인 모델 서빙 클러스터를 제공하고 빠르고 효율적인 모델 배포를 가능하게 합니다. 🗄️
- 당근 마켓은 TensorFlow Serving 기반의 모델 서버를 사용하고 있으며, 이를 직접 포크하여 개량된 버전을 사용하고 있습니다. 🔧
- 제어를 통한 분산 시스템은 새로운 모델 서버 배포를 용이하게 합니다. 🔌