원티드랩 데이터 마트 — 설립기

간단 소개

원티드랩의 데이터 마트 구축 과정을 소개하고, 데이터 기반 의사결정을 위한 핵심 요소와 관리 방안을 설명합니다.

AI Summary

데이터 마트 구축 배경 및 목표
- 데이터 마트는 데이터 기반 의사결정을 위한 핵심 자산이며, 운영 데이터의 변환 및 집계 과정을 거쳐 생성됩니다.
- 원티드랩은 구글 빅쿼리를 데이터 웨어하우스(DW)로 활용하고 있었으며, 뷰 테이블을 통해 데이터를 구조화했습니다.
데이터 마트 구축 과정
- **ERD(Entity Relationship Diagram)**를 활용하여 테이블 간 관계를 시각화하고, 테이블 및 컬럼에 대한 설명을 보완했습니다.
- 확장성, 독립성, 품질을 고려하여 마트 테이블을 설계하고, 컬럼과 타입을 유연하게 변경할 수 있도록 구현했습니다.
- Airflow DAG를 활용한 스케줄링 방식으로 변경하여 쿼리 비용 및 실행 시간을 최적화했습니다.
데이터 마트 관리 및 활용
- 컬럼명 규칙(taxonomy)을 정의하여 유지보수 효율성을 높였습니다.
- 데이터 마트 구축 절차를 수립하고 검증 과정을 거쳐 품질을 관리하고 있습니다.
- 구축된 데이터 마트는 대시보드, 데이터 추출 쿼리, GPT 기반 슬랙봇 등 다양한 곳에 활용되고 있습니다.