미우미우 핑크핀은 왜 안나오나요 ?

간단 소개

SSG.COM 검색 실패율 감소를 위해 BERT 기반 모델을 활용, 롱테일 검색어 처리 및 검색 정확도를 향상시킨 사례 분석.

AI Summary

검색 실패 원인 분석 및 문제 정의
- SSG.COM 검색 실패의 주요 원인으로 신상품 미등록, 롱테일 검색어, 형태소 분석 오류 등을 지적
- 특히 미우미우 핑크핀과 같은 롱테일 검색어는 상품이 존재함에도 검색 엔진의 AND 조건 때문에 검색 결과가 나오지 않는 문제점을 강조
모델 개발 및 학습
- BERT 계열 모델을 활용하여 검색어와 상품 간 연관성을 학습하고, 2단계 학습 진행
- 1단계: **Masked Language Model (MLM)**을 통해 상품명 특징 학습. 상품명 정제 후 주요 부분 마스킹 방식으로 학습 데이터셋 생성
- 2단계: **Sentence-BERT (SBERT)**를 통해 검색어-상품명 매칭 성능 향상. 샴 네트워크 구조와 contrastive loss를 사용하여 유사도 학습
모델 서빙 및 성과
- 벡터 DB를 활용하여 상품 임베딩 저장 및 검색어 임베딩과의 유사도 계산을 통해 실시간 검색 결과 도출
- 모델 적용 후 전체 검색 실패의 46%가 성공으로 전환되었으며, 정확도 기준 75% 달성. 향후 개인화 기능 추가 및 모델 정확도 향상 계획