Luft: 유저 행동 분석에 최적화된 OLAP 데이터베이스 - AB180 엔지니어링 베이스 | 기술블로그

간단 소개

AB180에서 개발한 유저 행동 분석 특화 OLAP DB Luft는 빠른 쿼리 성능과 효율적인 데이터 관리를 제공합니다.

AI Summary

Luft 소개 및 개발 배경
- 에어브릿지(AB180)는 사용자 행동 분석을 위해 Luft라는 OLAP 데이터베이스를 자체 개발했습니다.
- 기존 Apache Druid의 한계를 극복하고, 실시간 코호트 분석 및 다양한 분석 니즈 충족을 위해 개발되었습니다.
Luft의 특징 및 기술적 구현
- 유저 ID 기반 Group By 쿼리 최적화, 불변성을 활용한 스토리지 엔진(TrailDB) 최적화가 특징입니다.
- TrailDB를 통해 높은 압축률과 빠른 디코딩 성능을 확보했습니다.
- 람다 아키텍쳐를 차용하여 실시간 데이터 쿼리를 지원하고, S3와 DynamoDB를 활용하여 데이터 관리 효율성을 높였습니다.
Luft의 목표 및 활용
- 중소규모 클러스터로 테라바이트 스케일의 유저 행동 분석을 실시간으로 수행하는 것을 목표로 합니다.
- 현재 수십 TB 규모의 유저 데이터에서 코호트 분석을 5대 이하 노드로 평균 3~10초 내에 처리합니다.
- Spark, Kafka, etcd 등 기존 솔루션의 디자인을 참고하여 성능을 최적화했습니다.