Ray를 활용한 GPU Util 100% MLOps: 배치처리부터 모델 서빙까지

간단 소개

Ray를 활용하여 GPU 활용률을 극대화하고, 확장 가능한 모델 서빙 아키텍처를 구축하는 MLOps 기법을 소개합니다.

AI Summary

Ray 소개 및 핵심 아키텍처
- Ray는 AI/ML 분산 처리 프레임워크로, GPU 활용률을 극대화하는 데 사용된다.
- Ray Data를 활용한 배치 추론과 Ray Serve를 이용한 모델 서빙 아키텍처를 구축한다.
GPU 활용률 극대화를 위한 배치 처리
- 기존 구조의 문제점을 해결하고, PipelineStep 추상 클래스를 도입하여 배치 파이프라인을 개선한다.
- Troubleshooting 사례를 통해 실제 문제 해결 과정을 공유한다.
Ray Serve를 활용한 LLM 배포
- ServeManager를 통해 LLM을 효율적으로 배포하고 관리한다.
- vLLM을 기반으로 LLM 추론 파이프라인을 구성하고 확장한다.