SageMaker AI로 해보는 GPT-OSS 추론 성능 테스트와 용량 산정

간단 소개

Amazon SageMaker AI 환경에서 GPT-OSS 120B 모델의 LLM 추론 성능 테스트, 최적화 기법, 용량 산정 및 vLLM/SGLang 벤치마크 결과를 분석합니다.

AI Summary

SageMaker AI 및 LLM 추론 개요
- Amazon SageMaker AI는 완전 관리형 ML 플랫폼으로, GPT-OSS 120B 모델의 추론 성능 테스트 및 GPU 용량 산정 방법을 다룹니다.
- LLM 추론은 **프리필(Prefill)**과 디코드(Decode) 두 단계로 작동하며, 디코드 단계는 메모리 대역폭 바운드 특성을 가집니다.
- 키-값 캐시(KV Cache) 관리는 디코드 단계의 효율성을 높이는 핵심 메커니즘입니다.
추론 최적화 기법 및 성능 지표
- LLM 추론 최적화는 모델 경량화(양자화), 추론 과정 최적화(키-값 캐싱, 연속 배치, 페이지드 어텐션), **하드웨어 가속(Inferentia)**으로 구분됩니다.
- 연속 배치 처리와 페이지드 어텐션은 GPU 자원 활용도와 메모리 효율성을 크게 개선합니다.
- 주요 성능 지표는 TTFT, ITL, TPOT, E2E(지연 시간) 및 **TPS, RPS(처리량)**가 있습니다.
오픈소스 프레임워크 및 벤치마크
- vLLM과 SGLang은 대표적인 오픈소스 추론 프레임워크로, 지속적인 성능 개선 경쟁을 통해 발전하고 있습니다.
- GPU 메모리 용량 산정은 모델 파라미터, 키-값 캐시, 활성화 메모리 등을 고려하며, 텐서 병렬 등으로 분산 로딩이 가능합니다.
- GPT-OSS 120B 모델 벤치마크 결과, p4de 인스턴스와 vLLM 조합이 전반적으로 높은 성능 우위를 보였습니다.