Milvus: LINE VOOM의 실시간 추천 시스템을 위한 대규모 벡터 DB 구축기

간단 소개

LINE VOOM의 실시간 추천 시스템 구축을 위해 Milvus 벡터 DB를 도입하고 성능 및 안정성을 검증한 사례.

AI Summary

LINE VOOM 추천 시스템 개선 배경
- 기존 시스템의 즉시성 부족 문제로 사용자 경험 저하
- 일 단위 배치 처리로 추천 후보군 업데이트 지연
- 실시간 추천 시스템 구축 목표: 신선한 콘텐츠 즉시 추천
Milvus 도입 및 검증
- 벡터 DB 선정 기준: 벡터 전용 DB, 오픈소스, 온프레미스 구축 가능, 고부하 안정성, 낮은 지연 시간
- Milvus 선택 이유: 성능 우수, 스토리지/컴퓨팅 분리, 다양한 인덱스 알고리즘 지원, 활발한 커뮤니티
- 카오스 테스트: 시스템 안정성 및 복원력 평가 (컬렉션 HA 구성, 코디네이터 HA 구성, 백업 시스템 구성)
- 성능 테스트: 인덱스 유형(HNSW vs IVF_FLAT), 스케일 업/아웃, 인메모리 복제 성능 측정
Milvus 적용 결과 및 결론
- 추천 즉시성 향상: 7일 이내 생성 포스트 노출 12% 증가, 당일 생성 포스트 노출 39배 이상 증가
- 카오스/성능 테스트를 통해 얻은 인사이트로 시스템 성능 극대화 및 장애 예방
- Milvus 기반 실시간 추천 시스템 성공적 구축 및 운영