Trino resource optimize on YARN

간단 소개

YARN 클러스터 환경에서 Trino 리소스 최적화를 통해 가용 메모리를 늘리고 쿼리 성능을 향상시킨 경험 공유.

AI Summary

Trino YARN 클러스터 리소스 최적화 배경
- YARN 클러스터 기반 Trino 클러스터의 리소스 효율성 증대 필요
- 장비 증설 없이 기존 자원 활용 극대화 목표
- Place Data Lake House(PDL) 데이터 활용 증가에 따른 Trino 사용량 증가
YARN 환경에서의 Trino 리소스 최적화 전략
- Hadoop 데몬 프로세스, AM Container, RESERVED Resource 고려
- Node Manager, DataNode 등 데몬 프로세스를 위한 리소스 확보
- AM Container 자원 할당 고려, Worker 리소스 최대화
- RESERVED Resource로 인한 Worker 기동 문제 해결 위해 리소스 재분배
Trino 설정 최적화 및 결과
- JVM Heap 메모리, query.max-memory-per-node, query.max-memory 설정 조정
- Spill 옵션 활성화 (개발 환경)
- Worker 메모리 및 vCore 증가 (장비 0.5대 분량 확보)
- 향후 K8S 환경으로의 전환 고려