“이 옷 뭐지?” 스냅 이미지를 AI로 검색해 본 6주간의 여정

간단 소개

무신사 스냅 이미지 기반 검색 PoC를 통해 AI 기술을 활용한 사용자 경험 개선 가능성을 확인하고, 향후 발전 방향을 제시합니다.

AI Summary

무신사 스냅 이미지 검색 PoC
- 무신사 스냅의 이미지 기반 검색 기능 PoC를 6주간 진행, AWS PACE 팀과 협력
- 목표: 사용자가 원하는 상품을 찾고 새로운 스타일과 인플루언서를 발견하는 경험 제공
- Hugging Face 모델과 AWS AI 서비스를 활용, End-to-End 파이프라인 검증
구현 기능 및 기술 스택
- 스냅 이미지 속 패션 아이템과 유사한 상품 추천, 자연어 기반 스냅 이미지 검색 기능 구현
- YOLOS 모델을 활용한 객체 탐지, FashionCLIP 모델을 활용한 이미지 임베딩
- AWS OpenSearch를 이용한 대규모 벡터 검색 환경 구축 및 HNSW 알고리즘 적용
결과 및 향후 계획
- Precision@5는 0.81, MRR은 0.76을 기록, 기술적 유효성 확인
- 한계점 분석: 상품 고유 특징 모호, 상품 일부 가려짐, 특이한 촬영 구도 등
- 향후 패션 이미지 분석 정확도 향상, 검색 및 추천 결과 고도화, 클라우드 아키텍처 최적화 계획