dbt (data build tool) - Overview for Data Engineering & Modelling
- dbt는 SQL과 Jinja templating을 활용하여 데이터 웨어하우스에서 데이터 변환을 모델링하는 인기있는 데이터 엔지니어링 도구입니다. 🛠️
- dbt는 Snowflake, Amazon Redshift, Postgres 등 다양한 데이터 플랫폼과 호환됩니다. 🌉
- dbt core는 오픈소스이며 명령줄에서 개발 가능하지만, dbt Cloud는 브라우저 기반 IDE, AI 지원 도구, 작업 스케줄링 등 추가 기능을 제공합니다. ☁️
- dbt는 raw data를 분석에 적합한 insights로 변환하여 중앙 집중화, 모듈화, 개방적인 방식으로 데이터를 준비할 수 있도록 합니다. 📊
- dbt 모델은 SQL 파일이며, Jinja syntax를 사용하여 데이터 변환 로직을 정의합니다. 이는 상호 의존적인 모델(DAG)을 구축하여 데이터 변환 과정을 관리할 수 있게 합니다. 🔗
- dbt는 staging model을 통해 원시 데이터를 변환하고, 이를 기반으로 더 복잡한 분석 모델을 생성할 수 있습니다. 🏗️
- dbt는 기본적으로 모델을 뷰로 물리화하지만,
materialized
설정을 통해 테이블로 물리화할 수 있습니다. 🧱
- dbt는 모델 간의 의존성을 명확하게 보여주는 문서화 기능을 제공합니다. 📄