오픈소스 Trino를 활용한 전사 데이터 분석 시스템 구축기

간단 소개

SK플래닛은 오픈소스 Trino를 활용하여 전사 데이터 분석 시스템을 구축, 데이터 활용 효율성을 높이고 실시간 분석 환경을 강화했습니다.

AI Summary

DIC(Data Integration Cluster) 데이터 처리 개선
- SK플래닛은 데이터 리드 타임 단축을 위해 오픈소스 Trino를 도입하여 전사 데이터 분석 시스템을 구축함
- 기존 Hadoop 기반 시스템의 데이터 적재 지연 및 조회 성능 문제를 해결하고자 함
Trino 기반 시스템 구축 및 기능 강화
- Trino Gateway를 활용하여 HA(High Availability)를 적용, SPOF(Single Point of Failure) 문제 해결
- Apache Ranger와 연동된 권한 관리 시스템을 개발하여 데이터 접근 권한 제어 강화
- QueryCache, Galleon 등 사용자 접근 도구를 제공하여 기존 Hive 사용자 경험 유지
- Trino 메타스토어를 구축하여 Data Catalog 시스템 연동, 데이터 탐색 기능 강화
Trino 도입 효과 및 향후 계획
- 실시간 데이터 분석 및 조회 환경 구축으로 데이터 활용 효율성 극대화
- DAU 분석 정교화, 리포트 주기 단축, 실시간 모수 추출 등 성과 달성
- AI 환경에서 데이터 활용 방안 모색 및 서비스 적용 사례 지속 발굴 예정