호텔 검색, 어떻게 달라졌을까요? 4편 - 이미지 검색

간단 소개

네이버 플레이스 AI팀은 플레이스 특화 CLIP 인코더를 개발하여 이미지 검색 품질을 향상시키고 사용자 경험을 개선했습니다.

AI Summary

플레이스 특화 CLIP 인코더 개발
- 기존 CLIP 모델의 한계 극복: 플레이스 도메인에 최적화되지 않아 검색 품질 저하, 대표 이미지 문제 발생.
- 플레이스 특화 CLIP 인코더 학습: POI 및 장소별 컨텍스트 고려, 높은 zero-shot inference 성능 달성.
파괴적 망각 문제 해결 및 클래스 확장
- Layer-wise Discriminative Learning Rate 적용: 낮은 레이어에 낮은 학습률 적용, 기존 feature 유지하며 새로운 도메인 확장.
- Domain-Adaptive Pre-training (DAS) 활용: Pretrained 모델의 견고한 유닛에 신규 도메인 데이터 추가 학습, ImageNet 성능 향상 및 플레이스 도메인 성능 개선.
- 적은 이미지 수로 높은 성능 유지: 이미지 클러스터링 및 대표 centroid 이미지 학습, 클래스별 20장 이미지로도 효과적인 도메인 확장.
검색 결과 및 향후 계획
- 멀티모달 인코더 적용 후 대표 이미지 검색 정확도 상승, 사용자 경험 향상 및 체류 시간 증가.
- 향후 이미지 검색 다양성 확대 및 사용자 선호도 기반 개인화된 이미지 추천 시스템 도입 예정.