대용량 AI 실시간 임베딩 데이터를 효율적으로 다루기

간단 소개

대용량 AI 실시간 임베딩 데이터를 효율적으로 제공하기 위해 Redis Cluster를 활용하고, 데이터 압축 및 인프라 최적화를 통해 성능 향상 및 비용 절감을 달성한 사례.

AI Summary

프로젝트 목표 및 배경
- 대용량 AI 실시간 임베딩을 제공하는 서버 구축 목표: 높은 TPS, 빠른 응답 속도, 인프라 비용 절감
- 임베딩: AI가 개체 간 유사도를 평가하는 데 사용하는 필수 요소이며, 실시간 임베딩은 사용자 요청에 즉각 응답해야 하는 경우에 사용됨
Redis Cluster를 활용한 DB 구축 및 최적화
- Redis Cluster를 메인 DB로 선정, 복제 및 장애 극복 기능 활용, 데이터 유실 가능성에 대한 대비책 마련
- 데이터 모델링 시 키 분산, Big Key Issue 방지, 서비스 데이터 접근 패턴 고려
- Redis hashes 데이터 타입 채택, hmget 명령어 활용, 네트워크 트래픽 및 데이터 크기 줄이기 위해 임베딩 압축 적용
인프라 최적화 및 성능 테스트
- 코드 최적화, Generational ZGC 도입, 쿠버네티스 환경에서 최적의 리소스 할당량 탐색
- JMH를 이용한 로컬 테스트와 성능 테스트 플랫폼을 활용한 본격적인 성능 테스트 병행, 테스트 결과에 대한 객관적인 해석
- 레거시 서버 대비 개별 서버 스펙을 낮추고 필요 대수를 줄이는 효과 달성