뱅크샐러드 Data Discovery Platform의 시작

간단 소개

뱅크샐러드 Data Discovery Platform 구축 배경, 주요 기능, Datahub 활용을 통한 데이터 접근성 및 분석 효율성 향상 효과를 설명합니다.

AI Summary

Data Discovery Platform의 필요성
- 뱅크샐러드는 데이터 기반 의사결정을 위해 데이터 파운데이션 조직을 운영하며, 제품과 데이터의 Ecosystem 구축을 목표로 함.
- 기존에는 데이터 분석을 위한 접근성이 낮아, SQL 숙련도 부족, 데이터 맥락 이해 부족 등으로 인해 분석에 어려움이 있었음.
- 전사 구성원이 쉽고 편리하게 데이터를 분석할 수 있는 환경 제공의 필요성이 대두됨.
Data Discovery Platform의 기능 및 효과
- Data Discovery Platform은 분석 환경 내 모든 데이터를 쉽게 검색하고 이해할 수 있도록 설계됨.
- 테이블 명세, 통계, 샘플 데이터, 데이터 여정 등을 제공하여 데이터 분석 효율성을 향상시킴.
- Datahub 오픈 소스를 기반으로 구축되었으며, 사용자 친화적인 UI가 특징임.
Datahub 구축 및 활용
- Datahub Ingestion을 통해 다양한 데이터 소스의 메타데이터를 수집하고 Datahub UI에 표시함.
- SQL Profile 기능을 통해 테이블 컬럼의 통계 정보를 확인하고, Lineage 기능을 통해 테이블의 데이터 흐름을 추적할 수 있음.
- 향후 더 많은 메타데이터를 추가하고, 데이터와 관련된 대시보드, 지표 정의, ML 모델 정보 등을 통합할 계획임.