ML gpu model server 성능을 유지하며 cpu server로 전환한 경험 공유

간단 소개

G플레이스AI개발팀의 GPU 모델 서버를 CPU 서버로 전환하여 성능을 유지하고 비용을 절감한 경험 공유.

AI Summary

문제 정의 및 배경
- G플레이스AI개발팀은 AI 모델을 활용하여 서비스 개선을 목표.
- 한정된 GPU 자원으로 인해 기존 모델을 CPU serving으로 전환 필요.
- 비용 절감 및 성능 유지가 핵심 목표.
개선 과정
- Engineering 최적화: TorchServe worker 조정 시 thread 문제 해결, ipex를 통한 core pinning 적용.
- Model 경량화: Knowledge Distillation(KD) 기법을 사용하여 모델 크기 축소 및 정확도 유지.
- 최종 결과: 음식 사진 분류기 84rps, 이미지 점수 측정기 62rps, 영수증 분류기 111.8rps 달성.
결론 및 효과
- Traffic mirroring을 통해 안정적인 검증 후 production 적용.
- GPU 자원 절약 및 연간 약 4억원의 비용 절감 효과.
- 확보된 GPU 자원을 활용하여 AI 서비스 지속적 발전 계획.