하나의 데이터, 멀티 엔진: Apache Iceberg로 구축하는 데이터레이크

간단 소개

여기어때는 기존 Redshift의 한계를 극복하고 벤더 종속성을 탈피하기 위해 Apache Iceberg 기반의 멀티 엔진 데이터레이크 아키텍처를 GCP에 구축했습니다.

AI Summary

기존 데이터 웨어하우스의 한계
- Amazon Redshift 기반의 데이터 웨어하우스는 조직 성장과 데이터 증가에 따라 단일 클러스터의 리소스 경합, 데이터 적재 비효율, 성능 문제, 비용 증가, 벤더 종속성 등의 한계에 직면했습니다.
- Redshift Spectrum 도입도 느린 조회 속도로 적용 범위 확대에 어려움이 있었습니다.
Apache Iceberg 도입 및 멀티 엔진 아키텍처
- 벤더 종속성 탈피와 유연한 미래 선택지 확보를 위해 오픈 소스 Apache Iceberg 테이블 포맷을 선택했습니다.
- Iceberg는 BigQuery, Spark, Flink 등 다양한 쿼리 엔진에서 데이터 복제 없이 동일 데이터를 공유하게 합니다.
- GCP와 BigQuery의 서버리스 아키텍처, 독립적 리소스 할당, 클러스터 관리 불필요 등의 장점이 도입의 주요 이유였습니다.
Iceberg 데이터레이크 아키텍처 및 주요 기능
- 데이터는 GCS에 Iceberg 포맷으로, 메타데이터는 BigLake Metastore에서 중앙 관리됩니다.
- Iceberg는 ACID 트랜잭션, , , 등 고급 기능을 제공하여 , 향상, 확보 등의 이점을 가져왔습니다.