Amazon EKS에서vLLM Deep Learning Container를 사용하여LLM 배포하기

vLLM DLC를 활용한 LLM 배포 간소화

• 대규모 언어 모델(LLM) 배포의 GPU 활용, 네트워크, 분산 추론 과제를 해결하기 위해 vLLM 라이브러리와 **vLLM AWS 딥 러닝 컨테이너(DLC)**가 사용됩니다.
• DLC는 EKS, ECS, EC2에 최적화된 사전 구성 환경으로, EFA(Elastic Fabric Adapter) 지원을 포함하여 환경 구축 및 성능 튜닝 복잡성을 줄입니다.

Amazon EKS 기반 고성능 LLM 추론 아키텍처

• 솔루션은 Amazon EKS, GPU 지원 EC2(P4d.24xlarge), EFA 네트워킹, Amazon FSx for Lustre 스토리지를 활용합니다.
• **ALB(Application Load Balancer)**를 통해 클라이언트 요청이 EKS 노드의 vLLM 서버 파드로 전달되며, FSx for Lustre의 모델 가중치에 접근합니다.
• LeaderWorkerSet 패턴과 AWS Load Balancer Controller를 사용하여 확장 가능하고 고성능 LLM 추론 시스템을 구축하며, EFA와 FSx for Lustre로 성능을 최적화합니다.