실시간 OLAP을 위한 Apache Pinot 운영 노하우

간단 소개

카카오페이의 Apache Pinot 운영 노하우 공유: 클러스터 구성, DR 아키텍처, 실시간 Upsert 테이블 운영 및 문제 해결 경험.

AI Summary

Apache Pinot 소개 및 클러스터 구성
- Pinot는 실시간 OLAP을 위한 분산형 데이터 저장소로, 실시간 업데이트(Upsert) 기능을 제공한다.
- 딥스토어(HDFS) 연동을 통해 데이터 안정성을 확보하고, Server Failure Detector 및 Peer download 설정을 통해 장애를 예방한다.
- ZooKeeper 기반 인증 방식을 사용하여 사용자 및 테이블 권한을 관리하고, 콘솔 보안을 강화한다.
DR 아키텍처 및 실시간 Upsert 테이블 운영
- Active-Standby 클러스터 구성 기반의 DR(Disaster Recovery) 아키텍처를 구축하여 데이터 센터 레벨의 장애에 대비한다.
- PK(Primary Key) 개수 및 길이 관리, 세그먼트 Compaction을 통해 서버 메모리 부담을 줄이고 쿼리 성능을 향상시킨다.
- JMX 메트릭을 활용하여 PK, 세그먼트 현황, 쿼리 실행 관련 정보 등을 모니터링한다.
Pinot 운영 시 유의사항
- 언더 리플리카(Under Replica) 상태는 자동으로 복구되지 않으므로 수동으로 복구해야 한다.
- 리플리카 서버 전체 다운 시 데이터 누락 가능성에 대비하여 쿼리 응답을 처리할 때 오류 코드 또는 partialResult 플래그를 확인해야 한다.
- 스냅샷 테이블 운영 시 세그먼트 이름 통일 및 세그먼트 개수 일치 여부를 확인해야 완전한 데이터 교체가 가능하다.
- Kafka 컨슈밍 시 consumeFrom 파라미터를 사용하여 컨슈밍 시작 위치를 명시적으로 지정해야 한다.
- Trino gRPC 사용 시 Pinot 서버의 타임아웃 설정을 조정하고, Trino 커넥터에서 데이터 누락을 감지하는 방법을 검토해야 한다.