업데이트 압축률 67%, 플레이스 리뷰 tagging 시스템 개선경험

간단 소개

네이버 플레이스 리뷰 태깅 시스템 개선을 통해 업데이트 압축률을 높이고 운영 효율성을 개선한 경험 공유.

AI Summary

태깅 시스템 개선 배경
- 기존 태깅 시스템의 문제점: 비즈니스 로직 변화에 취약, 운영 툴 부재, 불필요한 DB 업데이트 빈번.
- 개선 목표: 분석값 원본 저장, 태깅 로직 분리, 태그 통합 관리, 운영자 입력값 보호, DB 업데이트 최적화.
개선된 태깅 시스템 구조
- Rawtags, Tags, Updatabletargets 컬렉션을 활용하여 데이터 흐름을 관리하고, Kafka Consumer를 역할별로 분리.
- 분석 API 호출 결과는 Rawtags에 저장, 비즈니스 로직 적용 후 Tags에 저장, 업데이트 대상은 Updatabletargets에 등록 후 일괄 업데이트.
- Write buffer 도입으로 업데이트 압축률 67% 달성, 이미지-리뷰 업데이트 압축률 향상.
운영 및 효과
- 태그 관리 운영툴을 통해 태그 조회, 수정 기능 제공.
- 운영자 입력값을 별도 필드에 저장하여 데이터 유실 방지 및 ML 재학습 파이프라인 구축에 활용.
- 디스크 공간 관리를 위해 오래된 데이터 삭제 고려.