실시간 유효 광고 선정을 위한 Flink에서 Apache Paimon 도입기

간단 소개

Flink와 Paimon을 활용한 실시간 유효 광고 선정 파이프라인 구축 경험 공유 및 Paimon의 주요 기능, 성능 비교, 유용한 팁 소개.

AI Summary

ADVoost Shopping 실시간 유효 광고 선정 파이프라인
- Flink와 Paimon을 도입하여 유효 광고 애셋 그룹 선정, 상품 광고 매핑 업데이트, 로그 수집 및 집계 파이프라인 구축
- Paimon의 부분 업데이트, 타임 트래블, rowkind 재정의 등의 기능 활용
- Feature Store에 유효 광고 데이터 업로드 및 AI Serving API 연동
Flink + Paimon 도입 이유 및 장점
- Spark 대비 리소스 효율성 및 빠른 처리 속도, 안정성 확보
- Flink와 Paimon의 통합 사용성 및 실시간 처리 보장
- 중간 데이터 활용 용이성 및 Flink, Spark 지원
Paimon 주요 기능 및 성능 비교
- LSM 트리 구조 기반의 레이크하우스 포맷, 자동 compaction, 스냅샷/태그 관리, 파티션 만료 기능 제공
- Iceberg 대비 실시간 변경 로그 생성 가능 및 테이블 관리 용이성
- 다양한 파일 프루닝 전략 및 consumer-id를 통한 exactly-once 보장
- 실시간 집계 기능(aggregation 모드) 지원