상품 추천 알고리즘 Item-CF의 최적화 여정

간단 소개

버즈빌의 Item-CF 알고리즘 최적화 여정: Sparse Vector 활용 및 분산 처리로 성능 향상, Robustness 확보.

AI Summary

Item-CF 알고리즘 최적화 여정
- 버즈빌은 Item-CF 알고리즘을 리타겟팅 광고 솔루션에 도입, Python으로 구현하고 대규모 이커머스에 적용하기 위해 최적화함.
- Sparse Vector를 활용하여 Cosine Similarity 계산 속도를 6배 향상시킴.
- Ray 프레임워크를 사용하여 알고리즘을 분산 처리, 런타임을 50일에서 4시간으로 단축시킴.
최적화 전략 및 고려사항
- Single-core 레벨 최적화 후 Multi-core 관점으로 접근하는 것이 효율적임을 강조.
- 버즈빌은 30개 이커머스 카탈로그에 적용해야 하므로 Robustness가 중요하며, Item-CF는 Interaction 데이터만으로 높은 퀄리티 추천을 제공.
- 메타데이터 퀄리티가 보장되지 않아 Interaction 데이터에 집중, 가성비 높은 모델임을 강조.