Data Catalog – Datahub

간단 소개

Data Catalog의 필요성과 Datahub의 기능 및 활용법을 소개하고, 오픈소스 데이터 카탈로그로서 Datahub를 추천합니다.

AI Summary

Data Catalog의 필요성
- 퍼블릭 클라우드 활성화와 다양한 분석 요구 증가로 데이터 레이크 구축이 늘었지만, 활용도 저하 문제가 발생.
- 데이터 레이크가 데이터 늪에 빠지지 않으려면 초기 활용 방법 확정, 필요한 데이터만 수집, 명확한 거버넌스 확립이 중요.
Data Catalog와 Datahub 소개
- Data Catalog는 데이터 소스 검색 및 관리 기능 제공. 주요 구성 요소로 커넥터, 자동화, 검색 옵션, 리니지 추적, 메타데이터 관리, 프로파일링 등이 있음.
- Datahub는 메타데이터 수집, 검색, 가시성, 데이터 거버넌스를 지원하는 오픈소스 데이터 카탈로그 솔루션. 다양한 시스템 연동, UI를 통한 수집 기능 제공.
Datahub의 기능 및 활용
- Datahub는 수집된 메타데이터 목록, 플랫폼별 데이터셋 통계, 검색 기능 제공.
- Snowflake 연동 시 쿼리 히스토리 기반 리니지 정보 자동 생성, Airflow 연동 시 DAG 정보 수집하여 리니지 정보 표현 가능.
- 테이블 통계, 사용 통계, 메타데이터 현황 등 다양한 정보 제공. GX(Great Expectations)와 연동하여 데이터 유효성 검사 결과 모니터링 가능.