파이썬으로 배우는 빅데이터 EP 52: Apache Iceberg에 대한 소개
- 아파치 아이스버그(Apache Iceberg)는 넷플릭스에서 개발되어 데이터브릭에 20억 달러에 매각된 대용량 데이터 처리 라이브러리입니다. 💰
- 스파크, 트리노, 프레스토 등 다양한 엔진을 지원하는 멀티 엔진 지원 기능을 제공합니다. ⚙️
- 스냅샷 관리를 통해 과거 데이터 상태(Time Travel)로의 접근 및 데이터 일관성 유지가 가능합니다. ⏱️
- 스키마 변경(추가, 삭제, 변경)이 용이하며, 데이터 손상이나 성능 저하 없이 진행됩니다. 🔄
- 데이터 분할(Partitioning) 및 레이아웃 최적화를 통해 쿼리 성능을 향상시킵니다. 🗂️
- ACID(Atomicity, Consistency, Isolation, Durability) 특성을 보장하여 데이터 무결성을 확보합니다. 🛡️
- 메타데이터(메니페스트 파일) 기반의 스냅샷 관리를 통해 데이터의 버전 관리 및 추적이 가능합니다. 📜
- 스냅샷 테이블과 히스토리 테이블을 통해 데이터의 변경 이력을 관리하고 확인할 수 있습니다. 📊