Luft's Road to Elasticity - Part 1: From Shared Nothing to Shared Storage

간단 소개

Luft의 Shared Nothing 아키텍처를 Shared Storage로 전환하여 탄력성을 확보하고 성능을 개선한 경험 공유.

AI Summary

Luft 아키텍처 개선 배경
- AB180의 OLAP 데이터베이스 Luft는 사용자 행동 분석에 특화되어 에어브릿지 리포트 제공
- 기존 Shared Nothing 아키텍처는 확장성과 가용성이 높지만, 스파이크성 워크로드에 취약하여 오버프로비저닝 발생
- Compute-Storage Separation 개념을 도입하여 컴퓨팅 자원과 스토리지를 분리, 독립적인 스케일링 목표
Shared Storage 아키텍처 구현
- Storage Layer에서 S3로부터 직접 데이터 읽기 위해 시스템 레벨 추상화(FUSE) 시도, Go 런타임과의 호환성 문제로 실패
- 애플리케이션 레벨 추상화로 전환, S3 byte-range fetch 기능 구현 및 Buffer Pool Manager 개발
- Query Layer에서 데이터 배치 현황 파악 단계를 생략하고, 각 노드에 TimeChunk를 고르게 분배하는 로직 구현
Storage Mode 도입 및 성능 개선
- Local Storage Mode, Remote Storage Mode, Tiered Storage Mode를 통해 스토리지 사용 방식 선택 가능
- Shared Storage 아키텍처 전환 후, 쿼리 성능에 필요한 데이터만 Remote Storage에서 읽어 처리하여 네트워크 부하 감소
- 기본적인 쿼리 유형에서 70% 이상의 성능 개선 확인