Trino로 타임아웃 개선하기

간단 소개

NHN AppGuard 서비스에 Trino를 도입하여 쿼리 성능을 개선하고 데이터 저장 비용을 절감한 과정과 결과를 공유합니다.

AI Summary

Trino 도입 배경 및 목표
- NHN AppGuard 서비스의 로그 데이터 증가로 인한 쿼리 성능 저하 문제 발생
- 기존 MySQL 환경의 한계를 극복하고 장기간 데이터 저장 및 복잡한 집계 쿼리 성능 향상 목표
- Trino와 DataQuery를 활용하여 데이터 저장 비용 절감 및 쿼리 속도 개선 목표
Trino 적용 과정 및 결과
- MySQL을 Hot Tier, Trino를 Cold Tier로 구성하는 Tier Down 방식 채택
- 데이터 소스로 OBS를 선정하고, 데이터 포맷으로 Parquet을 사용하여 저장 효율성 증대
- 실시간 데이터 조회를 위해 Hot Data와 Cold Data를 Union하는 방식 구현
- 성능 테스트 결과, 집계 쿼리에서 DataQuery가 MySQL 대비 압도적인 성능 향상을 보임
개선점 및 향후 과제
- 이상 행위 탐지 현황 조회 가능, Public API 개발 용이성 향상, 내부 집계 시간 단축, 스토리지 비용 감소 등의 효과
- 대시보드 기본 응답 속도 저하, Tier Down 실패 시 영향, DataQuery 및 OBS 비용 발생 등의 단점 존재
- 향후 시간 단위 Tier Down 변경 및 고객 로그 수에 따른 쿼리 엔진 최적화 과제 존재