유튜브블로그Top 10
내 프로필

데브허브 안내
소개업데이트 소식

데브허브 커뮤니티

파이썬으로 배우는 빅데이터 EP 52: Apache Iceberg에 대한 소개

미쿡엔지니어

2025. 1. 13.

0

#db
#devops
  • 아파치 아이스버그(Apache Iceberg)는 넷플릭스에서 개발되어 데이터브릭에 20억 달러에 매각된 대용량 데이터 처리 라이브러리입니다. 💰
  • 스파크, 트리노, 프레스토 등 다양한 엔진을 지원하는 멀티 엔진 지원 기능을 제공합니다. ⚙️
  • 스냅샷 관리를 통해 과거 데이터 상태(Time Travel)로의 접근 및 데이터 일관성 유지가 가능합니다. ⏱️
  • 스키마 변경(추가, 삭제, 변경)이 용이하며, 데이터 손상이나 성능 저하 없이 진행됩니다. 🔄
  • 데이터 분할(Partitioning) 및 레이아웃 최적화를 통해 쿼리 성능을 향상시킵니다. 🗂️
  • ACID(Atomicity, Consistency, Isolation, Durability) 특성을 보장하여 데이터 무결성을 확보합니다. 🛡️
  • 메타데이터(메니페스트 파일) 기반의 스냅샷 관리를 통해 데이터의 버전 관리 및 추적이 가능합니다. 📜
  • 스냅샷 테이블과 히스토리 테이블을 통해 데이터의 변경 이력을 관리하고 확인할 수 있습니다. 📊

Recommanded Videos