모델 서빙 최적화를 위한 프레임워크 선정과 서빙 성능 극대화하기

간단 소개

카카오페이의 모델 서빙 최적화 과정: 프레임워크 비교, Triton 선정 및 성능 극대화 전략을 통해 서비스 성능을 향상시킨 사례를 공유합니다.

AI Summary

카카오페이 모델 서빙 현황 및 문제점
- 기존에는 파이썬(모델 개발)과 코틀린+스프링부트(서빙)을 혼용하여 개발 생산성은 높았지만, 언어 간 변환, 다양한 모델 포맷 지원, 성능 튜닝에 어려움이 있었습니다.
- ONNX, TensorRT 등 모델 인퍼런스 최적화를 도입했으나, 속도와 정합성 간의 trade-off, 모델별 최적 포맷 상이 등의 문제가 발생했습니다.
모델 서빙 프레임워크 비교 및 선정
- FastAPI, Tensorflow Serving, Triton을 비교 평가했으며, 처리량, 지연시간, 최적화 비용, 안정성을 중점적으로 고려했습니다.
- Triton은 다양한 모델 포맷 지원, Dynamic Batch Inference 등의 장점으로 최종 선정되었습니다.
Triton 모델 서빙 성능 극대화
- Dynamic Batch, Concurrent Model Execution 등의 기능을 활용하여 모델 서빙 성능을 개선했습니다.
- Model Analyzer를 통해 최적의 옵션 조합을 찾고, 리소스 사용량을 분석하여 실제 서비스 배포 시 리소스 최적화 방안을 마련했습니다.
- 모델 포맷 변경(TensorRT), Dynamic Batch 적용, Concurrent Model Execution을 통해 성능을 크게 향상시켰습니다.