Spark on Kubernetes로 가자!

간단 소개

뱅크샐러드의 데이터 분석 환경을 EMR에서 Kubernetes로 전환한 경험 공유 및 문제 해결 과정, 향후 과제 제시.

AI Summary

뱅크샐러드 데이터 분석 환경 변화
- EMR, YARN 기반 Spark에서 Self-hosted Kubernetes 기반으로 전환
- 기존 환경의 문제점 (설정 복잡성, 장애 대응 어려움) 극복 및 DevOps 팀과의 협업 강화
Spark on Kubernetes 아키텍처 및 설정
- Spark driver와 executor pod을 Kubernetes에서 실행하는 방식 설명
- Spot instance, autoscaling, headless service 설정 방법 제시
- Spark image 빌드 및 Glue catalog 연동 과정 소개
Spark on Kubernetes 사용 중 발생한 문제 해결
- Glue 메타데이터 접근, S3 프로토콜 문제, Magic committer 설정 등 문제 해결 과정 상세 설명
- 비용 절감 효과 (피크 시간 기준 약 45%) 확인 및 향후 개선 과제 제시 (metric 관찰, log 관리, resource optimization, 버전 업그레이드)