검색 Indexing 파이프라인 개선기

간단 소개

당근 검색 플랫폼팀의 색인 파이프라인 개선 과정을 담은 글입니다. 자동화, DB 의존성 감소, 비용 절감, 고가용성 확보를 위한 다양한 시도를 소개합니다.

AI Summary

색인 파이프라인 문제점 및 개선 목표
- 기존 파이프라인은 서비스별 로직 중복, DB 의존성, 풀 스캔 비용, 낮은 가시성 문제가 있었음
- 개선 목표는 자동화된 인터페이스, DB 의존성 감소, 풀 색인 부담 감소, 고가용성 시스템 구축임
설정 기반 자동화 및 스키마 설계
- YAML 기반 설정 인터페이스를 정의하여 코드 자동 생성
- 스키마를 통한 데이터 안전성 확보 및 Transform 단계를 통해 유연성 확보
- Online/Offline 데이터 형태 통일 및 Airflow 파이프라인 자동 생성
DB 의존성 감소 및 비용 절감
- Offline Storage(BigQuery) 활용 및 WAL 기반 상태 변경 메시지 발행
- Backfill 데이터와 Streaming 데이터를 병합하여 데이터 신뢰성 확보
- 파티셔닝 및 복제 테이블 생성을 통해 풀 색인 비용 절감 및 성능 향상
고가용성 시스템 구축
- Streaming Tumbling TimeWindow를 통한 Streaming Batch 처리 구현
- KafkaLag 문제 해결 및 DB 부하 감소
- Transform 자동 생성, Vector Embedding, LLM 등 기능 추가