당근 데이터 디스커버리 구축기: DataHub와 DataWiki로 여는 데이터 탐색의 첫걸음

간단 소개

당근은 DataHub와 DataWiki를 구축하여 데이터 디스커버리 환경을 개선하고, 챗봇 인터페이스를 통해 데이터 접근성을 높이려 한다.

AI Summary

DataHub 도입 및 구축
- 당근 데이터 가치화 팀은 데이터 디스커버리를 위해 DataHub를 도입, 메타데이터 수집, 저장, 관리, 탐색 기능을 구축함.
- Airflow를 활용한 데이터 파이프라인 자동화, n8n을 이용한 데이터 신선도 모니터링 시스템 구축, 전사 구성원에게 Editor 권한을 부여하여 데이터 관리의 지속성을 확보함.
DataWiki 구축 및 활용
- DataHub의 한계를 보완하기 위해 DataWiki를 구축, 도메인 중심의 탐색 구조를 구성하고 지표, 테이블, 도메인 비즈니스 로직 섹션으로 나누어 데이터를 수집함.
- BigQuery를 메타데이터의 SSOT(Single Source of Truth)로 지정, DataWiki의 비정형 정보를 정형화하여 DataHub와 연계, Text-to-SQL LLM 챗봇 구축의 발판을 마련함.
향후 과제 및 계획
- DataHub와 DataWiki의 분리된 진입점, Notion 기반 DataWiki 관리의 어려움, DataHub 커스터마이징의 한계를 극복하기 위해 당근만의 데이터 카탈로그 플랫폼 구축을 계획함.
- Text-to-SQL 챗봇을 고도화하여 사용자 경험을 개선하고, 데이터와 더 친숙하게 소통할 수 있는 환경을 조성할 계획임.