하이퍼엑셀(HyperAccel), Amazon EC2 F2 Instance 기반 LPU로 고효율 LLM 추론 서비스 구축

간단 소개

하이퍼엑셀이 AWS EC2 F2 인스턴스 기반 LPU로 LLM 추론 서비스의 효율성과 비용을 혁신하고 PoC 환경을 개선한 사례.

AI Summary

하이퍼엑셀 LPU 및 AWS F2 인스턴스 활용
- 하이퍼엑셀은 LLM 추론의 높은 비용, 전력 소모, 확장성 한계를 해결하기 위해 **LPU(LLM Processing Unit)**를 개발한 AI 반도체 펩리스 스타트업이다.
- LPU는 A100 GPU 대비 최대 2.15배 높은 추론 처리량과 4.49배 높은 전력 효율을 제공하며, GPT, Llama 등 다양한 LLM을 지원한다.
- Amazon EC2 F2 인스턴스는 FPGA(Field-Programmable Gate Array) 기반으로, 하드웨어 가속이 필요한 워크로드에 최적화되어 LPU 아키텍처 구현에 적합하다.
클라우드 전환 배경 및 구현
- 기존 PoC(Proof of Concept) 환경은 물리 장비 의존성, 수작업, 보안 부담 등으로 운영 효율성이 낮아 클라우드 전환을 결정했다.
- F2 인스턴스의 FPGA에 LPU 아키텍처를 재구성하고 **AFI(Amazon FPGA Image)**로 패키징하여 AWS Marketplace에 등록했다.
- HyperDex Toolchain과 통합하여 클라우드에서도 온프레미스와 동일한 LPU 실행 환경을 구축하고, AMI로 사용자 친화적 환경을 제공한다.
클라우드 전환 성과 및 향후 계획
- PoC 환경 구축 시간 90% 이상 단축 및 GPU 대비 추론 비용 최대 70% 절감을 달성했다.
- 보안성 및 운영 안정성 향상, 물리 장비 관리 부담 제거, 사용자 편의성 및 개발 생산성 증대 효과를 얻었다.
- 향후 신규 LLM 지원 확대, MXFP4 Quantization 기반 성능 고도화, 다양한 도출을 통해 플랫폼으로 발전할 계획이다.